LVS-DR 工作原理

LVS-DR（Linux Virtual Server Director Server）工作模式，是生产环境中最常用的一种工作模式。

LVS-DR 模式，Director Server 作为群集的访问入口，不作为网关使用
节点 Director Server 与 Real Server 需要在同一个网络中，返回给客户端的数据不需要经过 Director Server。
为了响应对整个群集的访问，Director Server 与 Real Server 都需要配置 VIP 地址。

数据包流向分析

客户端发送请求到 Director Server,请求的数据报文（源 IP 是 CIP,目标 IP 是 VIP）到达内核空间。
Director Server 和 Real Server 在同一个网络中，数据通过二层数据链路层来传输。
内核空间判断数据包的目标 IP 是本机 VIP，此时 IPVS 比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源 MAC 地址为 Director Server 的 MAC 地址，修改目标 MAC 地址为 Real Server 的 MAC 地址，源 IP 地址与目标 IP 地址没有改变，然后将数据包发送给 Real Server。
到达 Real Server 的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。数据包重新封装报文(源 IP 地址为 VIP，目标 IP 为 CIP)，将响应报文通过 lo 接口传送给物理网卡然后向外发出。
Real Server 直接将响应报文传送到客户端。

LVS-DR模式的特点

Director Server 和 Real Server 必须在同一个物理网络中。
Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对 RIP 进行直接访问。
所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。
Real Server 的网关不允许指向 Director Server IP，即不允许数据包经过 Director S erver。
Real Server 上的 lo 接口配置 VIP 的 IP 地址。

ARP问题

问题一：IP 地址冲突，客户端如何知道发送请求信息给负载均衡节点还是节点服务器？

在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址，在局域网中具有相同的IP地址。势必会造成各服务器ARP通信的紊乱

当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播
只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播

解决方法：

对节点服务器进行处理，使其不响应针对VIP的ARP请求
用虚拟接口lo:0承载VIP地址

设置内核参数arp_ ignore=1: 系统只响应目的IP为本地IP的ARP请求

 路由器发送ARP请求（广播）
ARP---->广播去找ip地址解析成mac地址
默认使用调度服务器上的外网地址（vip地址）响应，
需要在真实服务器上修改内核参数
使真实服务器只对自己服务器上的真实IP地址响应ARP解析。

问题二：第二次再有访问请求,会造成网关设备arp紊乱

RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址，发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址，路由器收到ARP请求后，将更新ARP表项，原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址。路由器根据ARP表项，会将新来的请求报文转发给RealServer，导致Director的VIP紊乱

解决方法：

对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择物理网卡上的的IP地址作为arp报文的源地址

 路由器上绑定了 真实服务器1的mac信息，
 #请求到达真实服务器
 在真实服务器上修改内核参数
 只对所有服务器真实网卡上的地址进行反馈，解析

解决ARP的两个问题的设置方法

修改/etc/sysctl.conf 文件，调整内核的ARP响应参数。

 vim /etc/sysctl.conf     //添加以下四行参数
 net.ipv4.conf.lo.arp_ignore = 1  
 net.ipv4.conf.lo.arp_announce = 2
 net.ipv4.conf.all.arp_ignore = 1
 net.ipv4.conf.all.arp_announce = 2
 
 sysctl -p  //刷新配置，读取修改后的配置
 
 #arp_ignore=1 ：使本机系统只响应目的IP为本地物理网卡IP的ARP请求。
 #arp_announce=2：使本机系统不使用即将返回的IP数据包的源地址来作为ARP请求报文的源地址，而采用发送接口（物理网卡）的IP作为ARP请求报文源地址。

部署LVS-DR集群

环境

LVS负载调度器：ens33：192.168.1.12
Web1 节点服务器1：192.168.1.10
Web2 节点服务器2：192.168.1.11
NFS服务器：192.168.1.128
VIP:192.168.200
客户端（win10）：192.168.1.33

部署nfs共享存储

IP:192.168.1.128

systemctl stop firewalld.service 
systemctl disable firewalld.service 
setenforce 0
#关闭防火墙

yum install -y nfs-utils rpcbind
#安装nfs-utils、rpcbind软件包

systemctl start rpcbind.service
systemctl start nfs.service 
systemctl enable rpcbind.service 
systemctl enable nfs.service 
#开启nfs和rpcbind

mkdir /opt/lwx /opt/wyn                              #创建两个文件夹
echo '<h1>This is lwx <h1>' >/opt/lwx/index.html     #写入lwx
echo '<h1>This is wyn <h1>' >/opt/wyn/index.html     #写入wyn
chmod 777 /opt/lwx /opt/wyn                          #授权

#创建两个文件夹放置两个html测试文件

vim /etc/exports #设置nfs共享策略，写入以下内容

/usr/share *(ro,sync) 
/opt/lwx 192.168.1.0/24(rw,sync) 
/opt/wyn 192.168.1.0/24(rw,sync)

exportfs -rv 
showmount -e  
#发布共享

etc/exprot参数说明：

Rw ：该主机对该共享目录有读写权限
No_root_squash：客户机用root访问该共享文件夹时，不映射root用户
Sync：资料同步写入到内存与硬盘中

部署节点服务器web1

IP:192.168.1.10

systemctl stop firewalld.service 
systemctl disable firewalld.service 
setenforce 0
#关闭防火墙

yum install httpd -y
#安装httpd服务

#添加虚拟网卡承载vip地址 

cd /etc/sysconfig/network-scripts/ 
#切换到网卡配置文件目录  

cp ifcfg-lo ifcfg-lo:0  
#复制原有网卡配置进行修改  

vim ifcfg-lo:0 
#只留以下内容
DEVICE=lo:0  
IPADDR=192.168.1.200  #修改为vip地址  
NETMASK=255.255.255.255  #修改子网掩码,必须全为1
ONBOOT=yes  

ifup lo:0    #启动网卡  
ifconfig     #查看活动网卡

route add -host 192.168.1.200 dev lo:0
#添加静态路由信息，dev指出网卡
route -n
#查看

vim /etc/rc.d/rc.local
route add -host 192.168.1.200 dev lo:0 

chmod +x /etc/rc.d/rc.local
#将设置路由命令添加到开机执行配置文件内相当于开机自启并给配置文件添加执行权限

#调整 proc 响应参数  
#添加系统只响应目的IP为本地IP的ARP请求  
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP  
vim /etc/sysctl.conf  

net.ipv4.conf.lo.arp_ignore = 1  
net.ipv4.conf.lo.arp_announce = 2  
net.ipv4.conf.all.arp_ignore = 1  
net.ipv4.conf.all.arp_announce = 2  
#arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。  
#arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址

sysctl -p    #刷新配置，读取修改后的配置

#挂载站点，将NFS服务器的共享目录，挂载到httpd服务的根目录

systemctl restart httpd 
#开启web服务 

showmount -e 192.168.1.128 
#查看nfs共享服务器共享策略

mount 192.168.1.128:/opt/lwx /var/www/html/
#将共享目录挂载到本地web服务器站点给目录

df -h
#查看挂载点

cat /var/www/html/index.html

部署节点服务器web2

IP:192.168.1.11

systemctl stop firewalld.service 
systemctl disable firewalld.service 
setenforce 0
#关闭防火墙

yum install httpd -y
#安装httpd服务

#添加虚拟网卡承载vip地址 

cd /etc/sysconfig/network-scripts/ 
#切换到网卡配置文件目录  

cp ifcfg-lo ifcfg-lo:0  
#复制原有网卡配置进行修改  

vim ifcfg-lo:0 
#只留以下内容
DEVICE=lo:0  
IPADDR=192.168.1.200  #修改为vip地址  
NETMASK=255.255.255.255  #修改子网掩码,必须全为1
ONBOOT=yes  

ifup lo:0    #启动网卡  
ifconfig     #查看活动网卡

route add -host 192.168.1.200 dev lo:0
#添加静态路由信息，dev指出网卡
route -n
#查看

vim /etc/rc.d/rc.local
route add -host 192.168.1.200 dev lo:0 

chmod +x /etc/rc.d/rc.local
#将设置路由命令添加到开机执行配置文件内相当于开机自启并给配置文件添加执行权限

#调整 proc 响应参数  
#添加系统只响应目的IP为本地IP的ARP请求  
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP  
vim /etc/sysctl.conf  

net.ipv4.conf.lo.arp_ignore = 1  
net.ipv4.conf.lo.arp_announce = 2  
net.ipv4.conf.all.arp_ignore = 1  
net.ipv4.conf.all.arp_announce = 2  
#arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。  
#arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址

sysctl -p    #刷新配置，读取修改后的配置

#挂载站点，将NFS服务器的共享目录，挂载到httpd服务的根目录

systemctl restart httpd 
#开启web服务 

showmount -e 192.168.1.128 
#查看nfs共享服务器共享策略

mount 192.168.1.128:/opt/wyn /var/www/html/
#将共享目录挂载到本地web服务器站点给目录

df -h
#查看挂载点

cat /var/www/html/index.html

部署lvs负载调度器

IP：192.168.1.12

systemctl stop firewalld.service 
systemctl disable firewalld.service 
setenforce 0
#关闭防火墙

modprobe ip_vs              #加载模块
cat /proc/net/ip_vs         #查看
yum install ipvsadm -y      #安装ipv

#配置虚拟IP地址（VIP：192.168.1.200），添加虚拟网卡ens33:0 
cd /etc/sysconfig/network-scripts/  
cp ifcfg-ens33 ifcfg-ens33:0 

vim ifcfg-ens33:0
DEVICE=ens33:0  
ONBOOT=YES  
IPADDR=192.168.1.200 
NETMASK=255.255.255.255   #子网掩码必须全为1

ifup ens33:0              #启动虚拟网卡
ifconfig                  #查看网卡信息

#修改配置文件调整/proc响应参数 
#由于LVS负载调度器和各节点需要共用VIP地址，需要关闭icmp的重定向，不充当路由器。
vim /etc/sysctl.conf  

net.ipv4.ip_forward = 0                    #关闭路由转发功能
net.ipv4.conf.all.send_redirects = 0  
net.ipv4.conf.default.send_redirects = 0  
net.ipv4.conf.ens33.send_redirects = 0  

sysctl -p                                  #刷新配置，读取修改后的配置

设置负载分配策略（调度策略），-s rr表示指定轮询算法，-g表示使用DR模式

ipvsadm -C                        #清空原有规则  
ipvsadm -A -t 192.168.1.200:80 -s rr        
ipvsadm -a -t 192.168.1.200:80 -r 192.168.1.10:80 -g  
ipvsadm -a -t 192.168.1.200:80 -r 192.168.1.11:80 -g  
ipvsadm                          #查看调度策略  
ipvsadm -ln                      #以数字形式查看调度策略，Route代表DR模式

保存策略，启动ipvsadm。启动服务前一定要保存策略，生成相应文件
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm

客户端配置并测试

IP:192.168.1.33

浏览器输入VIP地址：192.168.1.200

LVS负载均衡群集-DR模式

LVS-DR 工作原理

数据包流向分析

LVS-DR模式的特点

ARP问题

问题一：IP 地址冲突，客户端如何知道发送请求信息给负载均衡节点还是节点服务器？

解决方法：

问题二：第二次再有访问请求,会造成网关设备arp紊乱

解决方法：

解决ARP的两个问题的设置方法

部署LVS-DR集群

环境

部署nfs共享存储

部署节点服务器web1

部署节点服务器web2

部署lvs负载调度器

客户端配置并测试