Squid代理服务器介绍

Squid 主要提供缓存加速、应用层过滤控制的功能

缓存代理的工作机制

缓存网页对象，减少重复请求

1、代替客户机向网站请求数据，从而可以隐藏用户的真实IP地址

2、将获得的网页数据（静态Web元素）保存到缓存中并发送给客户机，以便下次请求相同的数据时快速响应

代理服务器的概念及其作用

代理服务器是一个位于客户端和原始（资源）服务器之间的服务器，为了从原始服务器取得内容，客户端向代理服务器发送一个请求并指定目标原始服务器，然后代理服务器向原始服务器转交请求并将获得的内容返回给客户端。

缓存代理对于Web至关重要，尤其对于大型高负载Web站点。缓存可作为性能优化的一个重要手段，可以极大减轻后端服务器的负载。通常对于静态资源，即较少经常更新的资源，如图片，css或js等进行缓存，从而在每次刷新浏览器的时候，不用重新请求，而是从缓存里面读取，这样就可以减轻服务器的压力

使用代理的好处

1、提高web访问速度

2、隐藏客户机的真实IP地址

主要作用：

资源获取： 代替客户端实现从原始服务器的资源获取；

加速访问： 代理服务器可能离原始服务器更近，从而起到一定的加速作用；

缓存作用： 代理服务器保存从原始服务器所获取的资源，从而实现客户端快速的获取；

隐藏真实地址： 代理服务器代替客户端去获取原始服务器资源，从而隐藏客户端真实信息

Squid代理的类型

传统代理： 适用于Internet 正向代理，需在客户机指定代理服务器的地址和端口。

透明代理： 客户机不需指定代理服务器的地址和端口，而是通过默认路由、防火墙策略将Web访问重定向给代理服务器处理。

反向代理： 如果 Squid 反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端；否则反向代理服务器将向后台的 WEB 服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。

Squid日志

MISS：未命中缓存
HIT：命中缓存
EXPIRED：缓存过期
STALE：命中了陈旧缓存
REVALIDDATED：Nginx验证陈旧缓存依然有效
UPDATING：内容陈旧，但正在更新
BYPASS：x响应从原始服务器获取

Squid服务的安装和运行

编译安装Squid

#关闭防火墙和selinux
systemctl disable --now firewalld
setenforce 0

#安装环境依赖包
yum -y install gcc gcc-c++ make 
#解压squid安装包
tar zxvf squid-3.5.28.tar.gz -C /opt/ 
#切换到源码包目录，设置安装路径和安装模块
cd /opt/squid-3.5.28 

./configure --prefix=/usr/local/squid \      #指定安装目录路径
--sysconfdir=/etc \                         #指定配置文件路径
--enable-arp-acl \                          #MAC地址管控，防止客户端使用IP欺骗
--enable-linux-netfilter \                  #使用内核过滤
--enable-linux-tproxy \                     #支持透明模式
--enable-async-io=100 \                     #异步IO，提升存储性能。先写入缓存，再写入硬盘
--enable-err-language="Simplify_Chinese" \  #错误信息的显示语言
--enable-underscore \                       #允许URL中有下划线
--disable-poll \                            #关闭默认使用 poll 模式
--enable-epoll \        #开启epoll模式提升性能，epoll模式可以支持IO多路复制，异步非阻塞
--enable-gnuregex                           #使用GNU正则表达式
 
 
make -j2 && make install     #开2核编译安装
 
ln -s /usr/local/squid/sbin/* /usr/local/sbin/   #优化路径，使系统直接能够识别squid命令
useradd -M -s /sbin/nologin squid             #创建squid用户，不创建家目录，不可登录系统
chown -R squid:squid  /usr/local/squid/var/   #修改属主属组，此目录用于存放缓存文件

修改Squid的配置文件

vim /etc/squid.conf
......
--56行--插入
http_access allow all    #放在 http_access deny all 之前，允许任意客户机使用代理服务，控制规则自上而下匹配
http_access deny all
http_port 3128           #用来指定代理服务监听的地址和端口(默认的端口号为 3128)
--61行--插入
cache_effective_user squid      #添加，指定程序用户，用来设置初始化、运行时缓存的账号,否则启动
cache_effective_group squid     #添加，指定账号基本组
coredump_dir /usr/local/squid/var/cache/squid     #指定缓存文件目录。默认有这一行，一般不做修改

Squid 的运行控制

#检查配置文件语法是否正确
squid -k parse

#启动 Squid，第一次启动 Squid 服务时，会自动初始化缓存目录
squid -z        #-z 选项用来初始化缓存目录
squid           #启动 squid 服务

netstat -anpt | grep "squid"    #查看是否启动成功

squid -k kill pid号  ##关闭Squid服务
cat usr/local/squid/var/run/squid.pid

创建 Squid 服务脚本（将Squid加入系统服务管理）

vim /etc/init.d/squid
#!/bin/bash
#chkconfig: 2345 90 25
PID="/usr/local/squid/var/run/squid.pid"
CONF="/etc/squid.conf"
CMD="/usr/local/squid/sbin/squid"

case "$1" in
   start)
     netstat -natp | grep squid &> /dev/null
     if [ $? -eq 0 ]
     then
       echo "squid is running"
       else
       echo "正在启动 squid..."
       $CMD
     fi
   ;;
   stop)
     $CMD -k kill &> /dev/null
     rm -rf $PID &> /dev/null   #kill命令杀死进程，不会删除PID文件，需要手动删除PID文件，不然下次启动会有问题
   ;;
   status)
     [ -f $PID ] &> /dev/null
        if [ $? -eq 0 ]
          then
            netstat -natp | grep squid
          else
            echo "squid is not running"
        fi
   ;;
   restart)
      $0 stop &> /dev/null
      echo "正在关闭 squid..."
         $0 start &> /dev/null
      echo "正在启动 squid..."
   ;;
   reload)
      $CMD -k reconfigure
   ;;
   check)
      $CMD -k parse
   ;;
   *)
      echo "用法：$0{start|stop|status|reload|check|restart}"
   ;;
esac

#2345是默认自启动的运行级别，如是-代表任何运行级别都不自启动；90是启动优先级，25是停止优先级，优先级范围是0－100，数字越大，优先级越低。


chmod +x /etc/init.d/squid      #为脚本增加执行权限
chkconfig --add squid           #加入系统服务管理
chkconfig --list squid          #查看在哪些运行级别下自动启动

构建传统代理服务器（正向代理）

该模式是客户已知有这个代理服务器，需要手动在浏览器中设置使用。

Squid代理服务器：192.168.46.20/24

web服务器：192.168.46.30/24

客户机：192.168.46.130/24

1、代理服务器，编辑配置文件
 vim /etc/squid.conf
 ......
 http_access allow all
 http_access deny all
 http_port 3128
 cache_effective_user squid
 cache_effective_group squid
 --63行--插入
 cache_mem 1024 MB               
 #指定缓存功能所使用的内存空间大小，便于保持访问较频繁的WEB对象，容量最好为4的倍数，单位为MB，建议设为物理内存的1/4
 reply_body_max_size 500 MB          
 #允许用户下载的最大文件大小，以字节为单位，当下载超过指定大小的Web对象时，浏览器的报错页面中会出现“请求或访问太大”的提示。默认设置0表示不进行限制，若不限制需要将此行注释掉。
 maximum_object_size 100 MB          
 #允许保存到缓存空间的最大对象大小，以KB为单位，超过大小限制的文件将不被缓存，而是直接转发给用户。使用不多的大文件，则直接由web服务器响应，减少占用缓存服务器的空间
 
 service squid restart   #重启squid服务
 
 #生产环境中还需要修改防火墙规则
 iptables -F
 iptables -I INPUT -p tcp --dport 3128 -j ACCEPT    #允许tcp协议3128端口的流量通过
 
 2、web服务器安装apache
 systemctl stop firewalld
 setenforce 0
 yum install -y httpd
 systemctl start httpd
 echo "this is Apache web" > /var/www/html/index.html
 
 3、客户机的代理配置，访问web服务器
 打开浏览器，工具-->Internet选项-->连接-->局域网设置-->开启代理服务器
 （地址：Squid服务器IP地址，端口：3128）
 
 4、查看 Squid 访问日志的新增记录中的缓存命中情况
 tail -f /usr/local/squid/var/logs/access.log
 TCP_MISS/200      #表示未命中缓存       
 TCP_MEM_HIT/200   #表示命中缓存
 
 5、查看 Web 访问日志的新增记录
 tail -f /var/log/httpd/access_log
 在浏览器输入Web服务器IP地址访问，查看Web服务器访问日志，显示的是由代理服务器替客户机在访问。地址不是真实的客户端地址，而是代理服务器地址。

Squid代理服务器配置

web服务器安装apache

客户机的代理配置

在使用代理前，先访问一次web服务器

之后配置代理

配置代理后，再多次访问web服务器

查看 Squid 访问日志的新增记录中的缓存命中情况

查看 Web 访问日志的新增记录

构建透明代理服务器

要求：

要求代理服务器是网关服务器。
网关服务器至少双网卡，开启路由转发功能。
防火墙iptables/firewalld 设置重定向规则

实验环境

Squid服务器：内网：192.168.46.20/24 外网：12.0.0.20/24

web服务器：12.0.0.12/24

客户机：192.168.46.130/24

实验步骤

vim /etc/squid.conf ##编辑配置文件
......
http_access allow all
http_access deny all
--60行--修改添加提供内网服务的IP地址，和支持透明代理选项 transparent
http_port 192.168.46.20:3128 transparent
#填写对接客户端网段的网卡地址，即内网卡地址。监听自己内网网卡的地址，并支持透明代理选项 transparent

systemctl restart squid

#开启路由转发，实现本机中不同网段的地址转发
echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
sysctl -p

#修改防火墙规则
iptables -F
iptables -t nat -F
iptables -t nat -I PREROUTING -i ens33 -s 192.168.46.0/24 -p tcp --dport 80 -j REDIRECT --to 3128   #用于转发http协议
iptables -t nat -I PREROUTING -i ens33 -s 192.168.46.0/24 -p tcp --dport 443 -j REDIRECT --to 3128  #用于转发https协议
iptables -A INPUT -p tcp --dport 3128 -j ACCEPT


-----Web服务器配置-----
systemctl stop firewalld
setenforce 0
yum install -y httpd
systemctl start httpd
echo "this is Apache web" > /var/www/html/index.html

关闭客户机的浏览器之前设置的代理服务器的功能后访问 http://12.0.0.12

#查看 Squid 访问日志的新增记录
tail -f /usr/local/squid/var/logs/access.log
1631073624.552      0 192.168.80.200 TCP_MEM_HIT/200 449 GET http://12.0.0.12/ - HIER_NONE/- text/html

#查看 Web 访问日志的新增记录，显示的是由代理服务器的外网口代替客户机在访问
tail -f /var/log/httpd/access_log

Squid服务器配置

Web服务器安装apache

客户机配置，修改网关地址，浏览器不使用代理

关闭客户机的浏览器之前设置的代理服务器的功能后，访问 [http://12.0.0.12]

查看 Squid 访问日志的新增记录

查看 Web 访问日志的新增记录

ACL访问控制

在配置文件 squid.conf 中，ACL 访问控制通过以下两个步骤来实现：

（1）使用 acl 配置项定义需要控制的条件；

（2）通过 http_access 配置项对已定义的列表做“允许”或“拒绝”访问的控制

定义访问控制列表

格式：

acl 列表名称 列表类型 列表内容 ....

ACL配置说明

vim /etc/squid.conf
......
acl localhost src 192.168.80.10/32                  #源地址为 192.168.80.10
acl MYLAN src 192.168.80.0/24 192.168.1.0/24        #客户机网段
acl destinationhost dst 192.168.80.13/32            #目标地址为 192.168.80.13
acl MC20 maxconn 20                                 #最大并发连接 20
acl PORT port 21                                    #目标端口 21
acl DMBLOCK dstdomain .qq.com                       #目标域，匹配域内所有站点
acl BURL url_regex -i ^rtsp:// ^emule://            #以 rtsp://、emule:// 开头的目标 URL地址，-i表示忽略大小写
acl PURL urlpath_regex -i .mp3$ .mp4$ .rmvb$     #以 .mp3、.mp4、.rmvb 结尾的目标 URL 路径
acl WORKTIME time MTWHF 08:30-17:30                 #时间为周一至周五 8:30~17:30，“MTWHF”为每个星期的英文首字母


#启动对象列表管理
mkdir /etc/squid
vim /etc/squid/dest.list
192.168.80.13
192.168.1.0/24

vim /etc/squid.conf
......
acl destinationhost dst "/etc/squid/dest.list"          #调用指定文件中的列表内容
......
http_access deny(或allow) destinationhost                #注意，如果是拒绝列表，需要放在http_access allow all前面


systemctl restart squid

浏览器访问Web服务器 http://192.168.80.13 ，显示被访问被拒绝

ACL访问控制操作实列

  1、编辑配置文件，定义控制访问列表
  [root@yuji ~]# vim /etc/squid.conf
  ......
  25 acl CONNECT method CONNECT
  26 acl myhost src 192.168.46.130/32   #定义列表名称为myhost，源址为192.168.72.130
  27
  28 http_access deny myhost           #拒绝myhost列表中的地址进行访问
  #注意，拒绝列表需要放在http_access allow all前面
 
 
 2、重启squid服务
 [root@yuji ~]# systemctl restart squid
 
 
 3、使用客户机192.168.46.130进行访问
 浏览器访问Web服务器 http://12.0.0.12，显示被访问被拒绝。

使用客户机192.168.46.130，浏览器访问Web服务器 http://12.0.0.12，显示被访问被拒绝

Squid反向代理

反向代理工作机制

如果 Squid 反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端；否则反向代理服务器将向后台的 Web 服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用

静态内容/可缓存内容，如果已写入缓存，由缓存服务器提供，动态内容，由代理服务器转发给web服务器进行请求

工作机制

缓存网页对象，减少重复请求将互联网请求轮训或按权重分配到内网Web服务器代理用户请求，避免用户直接访问Web服务器，提高安全

构建Squid反向代理服务器

实验环境

squid服务器：192.168.46.20

web1服务器：192.168.46.30

web2服务器：192.168.46.50

客户机：192.168.46.130

缓存服务器配置

vim /etc/squid.conf
......
--60行--修改，插入
http_port 192.168.46.20:80 accel vhost vport
cache_peer 192.168.46.30 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
cache_peer 192.168.46.50 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web2
cache_peer_domain web1 web2 www.bbc.com
#表示对www.kgc.com的请求，squid向192.168.46.30和192.168.46.50的80端口发出请求

----------------------------------------------------------------------------------------------------------
http_port 80 accel vhost vport #squid从一个缓存变成了一个Web服务器反向代理加速模式，这个时候squid在80端口监听请求，同时和web server的请求端口(vhost vport)绑定，这个时候请求到了squid，squid是不用转发请求的，而是直接要么从缓存中拿数据要么向绑定的端口直接请求数据。
accel ：反向代理加速模式
vhost ：支持域名或主机名来表示代理节点
vport ：支持IP和端口来表示代理节点

parent ：代表为父节点，上下关系，非平级关系
80 ：代理内部web服务器的80端口
0 ：没有使用icp（电信运营商），表示就一台squid服务器
no-query ：不做查询操作，直接获取数据
originserver ：指定是源服务器
round-robin ：指定 squid 通过轮询方式将请求分发到其中一台父节点
max_conn ：指定最大连接数
weight ： 指定权重
name ：设置别名
----------------------------------------------------------------------------------------------------------

##清空之前透明模式配置的 iptables 规则
iptables -F
iptables -t nat -F

netstat -natp | grep :80   #检查一下80端口是否被占用，如果被占用，需要关闭httpd
systemctl stop httpd       #防止 httpd 服务使用的 80 端口号和 squid 反向代理配置的监听端口冲突
systemctl restart squid    ##重启squid服务

后端两台节点服务器配置

yum install -y httpd
systemctl start httpd

#节点1：
echo "this is test01" >> /var/www/html/index.html
#节点2：
echo "this is test02" >> /var/www/html/index.html

客户端的域名映射配置，进行访问验证

#客户机的域名映射配置
修改 C:\Windows\System32\drivers\etc\hosts 文件
192.168.46.20 www.bbc.com

浏览器不开启代理访问 http://www.bbc.com

查看缓存命中情况 
tail -f /usr/local/squid/var/logs/access.log

Squid缓存代理服务器应用

Squid代理服务器介绍

缓存代理的工作机制

代理服务器的概念及其作用

使用代理的好处

主要作用：

Squid代理的类型

Squid日志

Squid服务的安装和运行

编译安装Squid

修改Squid的配置文件

Squid 的运行控制

创建 Squid 服务脚本（将Squid加入系统服务管理）

构建传统代理服务器（正向代理）

Squid代理服务器配置

web服务器安装apache

客户机的代理配置

查看 Squid 访问日志的新增记录中的缓存命中情况

查看 Web 访问日志的新增记录

构建透明代理服务器

要求：

实验环境

实验步骤

Squid服务器配置

Web服务器安装apache

客户机配置，修改网关地址，浏览器不使用代理

查看 Squid 访问日志的新增记录

查看 Web 访问日志的新增记录

ACL访问控制

ACL配置说明

ACL访问控制操作实列

Squid反向代理

反向代理工作机制

工作机制

构建Squid反向代理服务器

实验环境

缓存服务器配置

后端两台节点服务器配置

客户端的域名映射配置，进行访问验证