lvs-DR模式

夏威夷果陆胖胖
109 阅读8分钟

DR模式

DR模式数据包包流向

  1. Client想目标VIP发出请求，Director（负载均衡器）接受
  2. 通过交换机会记录（mac地址和接口号）
  3. Director根据负载均衡算法选择RealServer_1，不修改也不封装ip报文，而是将数据帧的mac地址改为RealServer_1的mac地址，然后在局域网上发送
  4. Director会解封装查看是不是自己的地址
  5. （只修改mac地址，源目mac地址被修改）
  6. RealServer_1收到这个帧，解封装后发现目标ip与本机匹配（RealServer事先绑定了VIP），于是处理这个报文。随后重新封装报文，发送到局域网
  7. （源目mac改变，源mac地址为RealServer_1的，目标为客户端；原ip改）
  8. 客户端收到回复报文，客户端认为得到正常的服务，不会知道是哪一台服务器处理

DR模式的特点：

  1. Director Server 和 Real Server 必须在同一个物理网络中。
  2. Real Server可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对IP 进行直接访问。
  3. Director Server作为群集的访问入口，但不作为网关使用。
  4. 所有的请求报文经由 Director Server，但回复响应报文不能经过Director Server。
  5. Real Server 的网关不允许指向 Director Server IP，即RealServer发送的数据包不允许经过 Director Server。(6) Real Server 上的 lo 接口配置 VIP 的 IP 地址。

Snipaste_2022-11-17_11-57-50.png

解决ARP的两个问题的设置方法

修改/etc/sysctl.conf 文件，调整内核的ARP响应参数。

vim /etc/sysctl.conf     //添加以下四行参数  net.ipv4.conf.lo.arp_ignore = 1    net.ipv4.conf.lo.arp_announce = 2  net.ipv4.conf.all.arp_ignore = 1  net.ipv4.conf.all.arp_announce = 2  ​  sysctl -p //刷新配置，读取修改后的配置  ​  #arp_ignore=1 ：使本机系统只响应目的IP为本地物理网卡IP的ARP请求。  #arp_announce=2：使本机系统不使用即将返回的IP数据包的源地址来作为ARP请求报文的源地址，而采用发送接口（物理网卡）的IP作为ARP请求报文源地址。

实验

实验环境

  • DR服务器：192.168.42.12/24
  • 两台WEB服务器：192.168.42.13/24，192.168.42.14/24
  • VIP：192.168.42.100/32
  • NFS服务器：192.168.42.15/24
  • 客户端：192.168.42.11/24

部署共享服务NFS

 #1、关闭防火墙
 [root@nfs ~]# systemctl disable --now firewalld
 [root@nfs ~]# setenforce 0
 ​
 #2、安装nfs-utils、rpcbind软件包
 [root@nfs ~]# yum install nfs-utils rpcbind -y
 ​
 #3、新建共享目录，并创建站点文件
 [root@nfs ~]# mkdir /share/
 [root@nfs ~]# cd /share/
 [root@nfs share]# mkdir tt nn
 [root@nfs share]# echo "tt is a girl" > tt/index.html
 [root@nfs share]# echo "nn is a boy" > nn/index.html
 ​
 #4、修改共享配置文件，设置共享策略
 [root@nfs share]# pwd
  /share
 [root@nfs share]# vim /etc/exports   //设置共享策略
 /share/tt  192.168.72.0/24
 /share/nn  192.168.72.0/24
 ​
 #5、启动两个服务，查看本机的NFS共享目录
 [root@nfs share]# systemctl start rpcbind
 [root@nfs share]# systemctl start nfs
 [root@nfs share]# showmount -e         //查看本机发布的NFS共享目录

部署Web节点服务器

 #1、关闭防火墙
 [root@web1 ~]# systemctl stop firewalld
 [root@web1 ~]# setenforce 0
 ​
 #2、安装httpd，开启服务
 [root@web1 ~]# mount /dev/sr0 /mnt      //挂载光盘
 mount: /dev/sr0 写保护，将以只读方式挂载
 [root@web1 ~]# yum install httpd -y     //安装httpd服务
 [root@web1 ~]# systemctl start httpd    //开启httpd服务
 ​
 #3、配置虚拟IP地址（VIP:192.168.72.200），添加虚接口lo:0。
 #此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。
 #因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。
 [root@web1 ~]# cd /etc/sysconfig/network-scripts/
 [root@web1 network-scripts]# cp ifcfg-lo ifcfg-lo:0
 [root@web1 network-scripts]# vim ifcfg-lo:0  //设置虚接口lo:0
 DEVICE=lo:0
 IPADDR=192.168.72.200
 NETMASK=255.255.255.255     //子网掩码必须全为1（即32个1）
 ONBOOT=yes
 [root@web1 network-scripts]# ifup lo:0         //启动虚接口
 [root@web1 network-scripts]# ifconfig lo:0     //查看虚接口的信息
 ​
 #4、添加静态路由信息，dev指定出站网卡
 [root@web1 ~]# route add -host 192.168.72.200 dev lo:0  
 [root@web1 ~]# route -n  //以数字形式显示路由信息
 ​
 #可以将添加路由的命令写入开机自启配置文件中，每次开机后自动执行
 [root@web1 ~]# vim /etc/rc.local
 /sbin/route add -host 192.168.72.200 dev lo:0
 [root@web1 ~]# chmod +x /etc/rc.d/rc.local
 ​
 #5、调整内核的ARP响应参数
 #arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。
 #arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。
 [root@web1 ~]# vim /etc/sysctl.conf
 net.ipv4.conf.lo.arp_ignore = 1  
 net.ipv4.conf.lo.arp_announce = 2
 net.ipv4.conf.all.arp_ignore = 1
 net.ipv4.conf.all.arp_announce = 2
 [root@web1 ~]# sysctl -p  //刷新配置，读取修改后的配置
 ​
 #6、挂载站点。将NFS服务器的共享目录，挂载到httpd服务的根目录
 [root@web1 ~]# showmount -e 192.168.72.192    //查看NFS服务器的共享信息
 [root@web1 ~]# mount 192.168.72.192:/share/tt/ /var/www/html
 [root@web1 ~]# df       //查看挂载是否成功
 [root@web1 ~]# cat /var/www/html/index.html
  tt is a girl

第二台web节点服务器

 #1、关闭防火墙
 [root@web2 ~]# systemctl stop firewalld
 [root@web2 ~]# setenforce 0
 ​
 #2、安装httpd，开启服务
 [root@web2 ~]# mount /dev/sr0 /mnt      //挂载光盘
 mount: /dev/sr0 写保护，将以只读方式挂载
 [root@web2 ~]# yum install httpd -y     //安装httpd服务
 [root@web2 ~]# systemctl start httpd    //开启httpd服务
 ​
 #3、配置虚拟IP地址（VIP:192.168.72.200），添加虚接口lo:0。
 #此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。
 #因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。
 [root@web2 ~]# cd /etc/sysconfig/network-scripts/
 [root@web2 network-scripts]# cp ifcfg-lo ifcfg-lo:0
 [root@web2 network-scripts]# vim ifcfg-lo:0  //设置虚接口lo:0
 DEVICE=lo:0
 IPADDR=192.168.72.200
 NETMASK=255.255.255.255     //子网掩码必须全为1（即32个1）
 ONBOOT=yes
 [root@web2 network-scripts]# ifup lo:0         //启动虚接口
 [root@web2 network-scripts]# ifconfig lo:0     //查看虚接口的信息
 ​
 #4、添加静态路由信息，dev指定出站网卡
 [root@web2 ~]# route add -host 192.168.72.200 dev lo:0  
 [root@web2 ~]# route -n  //以数字形式显示路由信息
 ​
 #将添加路由的命令写入开机自启配置文件中，每次开机后自动执行
 [root@web2 ~]# vim /etc/rc.local
 /sbin/route add -host 192.168.72.200 dev lo:0
 [root@web2 ~]# chmod +x /etc/rc.d/rc.local
 ​
 #5、调整内核的ARP响应参数
 #arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。
 #arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。
 [root@web2 ~]# vim /etc/sysctl.conf
 net.ipv4.conf.lo.arp_ignore = 1  
 net.ipv4.conf.lo.arp_announce = 2
 net.ipv4.conf.all.arp_ignore = 1
 net.ipv4.conf.all.arp_announce = 2
 [root@web2 ~]# sysctl -p  //刷新配置，读取修改后的配置
 ​
 #6、挂载站点。将NFS服务器的共享目录，挂载到httpd服务的根目录
 [root@web2 ~]# showmount -e 192.168.72.192    //查看NFS服务器的共享信息
 [root@web2 ~]# mount 192.168.72.192:/share/nn/ /var/www/html
 [root@web2 ~]# df       //查看挂载是否成功
 [root@web1 ~]# cat /var/www/html/index.html
  nn is a boy

配置负载调度器

 #1、关闭防火墙
 [root@yuji ~]# systemctl stop firewalld
 [root@yuji ~]# setenforce 0
 ​
 #2、加ip_vs模块
 [root@yuji ~]# modprobe ip_vs         //加载ip_vs模块
 [root@yuji ~]# cat /proc/net/ip_vs    //查看ip_vs模块的版本
 ​
 #3、安装ipvsadm工具
 [root@yuji ~]# yum install ipvsadm -y
 ​
 #4、配置虚拟IP地址（VIP：192.168.72.200），添加虚拟网卡ens33:0
 [root@yuji ~]# cd /etc/sysconfig/network-scripts/
 [root@yuji network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
 [root@yuji network-scripts]# vim ifcfg-ens33:0
 DEVICE=ens33:0
 ONBOOT=YES
 IPADDR=192.168.72.200
 NETMASK=255.255.255.255    //子网掩码必须全为1
 [root@yuji ~]# ifup ens33:0       //启动虚拟网卡
 [root@yuji ~]# ifconfig ens33:0   //查看网卡信息
 ​
 #也可以将添加虚拟网卡的命令，写入开机自启配置文件（/etc/rc.local）中，则每次开机后会自动执行命令添加虚拟网卡
 [root@yuji ~]# vim /etc/rc.local
 ifconfig ens33:0 192.168.72.200/32
 ​
 #5、调整proc响应参数
 #由于LVS负载调度器和各节点需要共用VIP地址，需要关闭icmp的重定向，不充当路由器。
 [root@yuji ~]# vim /etc/sysctl.conf
 net.ipv4.ip_forward = 0     //关闭路由转发功能
 net.ipv4.conf.all.send_redirects = 0
 net.ipv4.conf.default.send_redirects = 0
 net.ipv4.conf.ens33.send_redirects = 0
 [root@yuji ~]# sysctl -p    //刷新配置，读取修改后的配置
 ​
 #6、设置负载分配策略（调度策略），-s rr表示指定轮询算法，-g表示使用DR模式
 [root@yuji ~]# ipvsadm -C  //清空原有规则
 [root@yuji ~]# ipvsadm -A -t 192.168.72.200:80 -s rr       
 [root@yuji ~]# ipvsadm -a -t 192.168.72.200:80 -r 192.168.72.30:80 -g
 [root@yuji ~]# ipvsadm -a -t 192.168.72.200:80 -r 192.168.72.40:80 -g
 [root@yuji ~]# ipvsadm   //查看调度策略
 [root@yuji ~]# ipvsadm -ln   //以数字形式查看调度策略，Route代表DR模式
 IP Virtual Server version 1.2.1 (size=4096)
 Prot LocalAddress:Port Scheduler Flags
   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
 TCP  192.168.72.10:80 rr
   -> 192.168.72.30:80             Route   1      0          0   
   -> 192.168.72.40:80             Route   1      0          0 
 ​
 #7、保存策略，启动ipvsadm。启动服务前一定要保存策略，生成相应文件。
 [root@yuji ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
 [root@yuji ~]# systemctl start ipvsadm

客户机访问测试

客户机IP：192.168.42.1/24。

浏览器输入VIP地址：192.168.42.100

总结

NFS服务器配置步骤：

  • 关闭防火墙
  • 安装nfs-utils、rpcbind软件包
  • 新建共享目录，并创建站点文件
  • 修改共享配置文件，设置共享策略
  • 启动两个服务，查看本机的NFS共享信息

节点服务器配置步骤：

  • 关闭防火墙
  • 安装httpd服务
  • 配置 lo:0 虚拟网卡，承载VIP
  • 添加路由 route add
  • 修改内核配置，/etc/sysctl.conf
  • 挂载站点（将NFS服务器的共享目录挂载到httpd的站点目录）

DR负载调度服务器的配置步骤：

  • 关闭防火墙
  • 加载ip_vs模块，安装ipvsadm工具
  • 配置虚拟IP地址（VIP和节点服务器的VIP一致）
  • 调整 proc 响应参数，关闭路由转发功能，/etc/sysctl.conf
  • 配置负载分配策略
avatar
文章
阅读
粉丝