LVS+Keepalived高可用负载均衡群集

寒_嗷呜
66 阅读8分钟

一个合格的集群系统应该满足的条件：

1.负载均衡

2.健康检查 及时的发现有异常的节点服务器或者调度器

3.故障切换 及时的进行服务器切换保证服务的正常运行

Keepalived及其工作原理

keepalived是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题

在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP（VIP），主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性

keepalived体系主要模块及其作用

keepalived体系架构中主要有三个模块，分别是core、check和vrrp

core模块：为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析

vrrp模块：是来实现VRRP协议的（调度器之间的健康检查和主备切换）

check模块：负责健康检查，常见的方式有端口检查及URL检查（节点服务器的健康检查）

健康检查：常用3种方式

1.心跳检查（ping/pong检查）给对端发送ping请求报文，如果正常回复pong响应报文则认为正常，如果没有回复或回复异常则认为健康检查失败

2.端口检查 对socket套接字 （ip:port）进行tcp连接测试（三次握手），如果TCP连接成功则认为正常，如果tcp连接异常则认为健康检查失败

3.URL检查 对http://URL https://URL 进行get方法请求，获取响应状态码，如果状态码为>=200 <400则认为正常，如果状态码为>=400的则认为异常

LVS+Keepalived 高可用群集的搭建步骤

实验环境

主DR调度器：192.168.46.20/24

备DR调度器：192.168.46.30/24

web1:192.168.46.40/24

web2:192.168.46.50/24

VIP：192.168.46.200/32

客户端：192.168.46.55/24

Snipaste_2022-10-14_14-25-45.png

部署web服务器

第一台 192.168.46.50/24 VIP 192.168.46.200/32

##关闭防火墙
systemctl stop firewalld
setenforce 0
​
##安装httpd，开启服务
yum install -y httpd  ##安装httpd服务
systemctl start httpd  ##开启httpd服务
​
##配置虚拟IP地址（VIP：192.168.46.200），添加虚拟接口lo:0
cd /etc/sysconfig/network-scripts
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.46.200
NETMASK=255.255.255.255     ##子网掩码必须全为1（即32个1）
ONBOOT=yes
ifup lo:0  ##启动虚接口
ifconfig lo:0  ##查看虚接口信息
​
##添加路由记录，dev指定出站网卡
route add -host 192.168.46.200 dev lo:0
route -n ##以数字形式显示路由信息
​
##可以将添加路由的命令写入开机自启配置文件中，每次开机后自动执行
vim /etc/rc.local
/sbin/route add -host 192.168.46.200 dev lo:0
chmod +x /etc/rc.d/rc.local
​
##调整内核的ARP响应参数
vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1  
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
sysctl -p  ##刷新配置，读取修改后的配置
​
##创建站点目录
echo "this is meme web" > /var/www/html/index.html
cat /var/www/html/index.html

Snipaste_2022-10-14_15-25-19.png

Snipaste_2022-10-14_15-29-28.png

Snipaste_2022-10-14_15-32-09.png

Snipaste_2022-10-14_15-35-00.png

Snipaste_2022-10-14_15-35-57.png

web2服务器

和web1服务器配置相同

##关闭防火墙
systemctl stop firewalld
setenforce 0
​
##安装httpd，开启服务
yum install -y httpd  ##安装httpd服务
systemctl start httpd  ##开启httpd服务
​
##配置虚拟IP地址（VIP：192.168.46.200），添加虚拟接口lo:0
cd /etc/sysconfig/network-scripts
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.46.200
NETMASK=255.255.255.255     ##子网掩码必须全为1（即32个1）
ONBOOT=yes
ifup lo:0  ##启动虚接口
ifconfig lo:0  ##查看虚接口信息
​
##添加路由记录，dev指定出站网卡
route add -host 192.168.46.200 dev lo:0
route -n ##以数字形式显示路由信息
​
##可以将添加路由的命令写入开机自启配置文件中，每次开机后自动执行
vim /etc/rc.local
/sbin/route add -host 192.168.72.200 dev lo:0
chmod +x /etc/rc.d/rc.local
​
##调整内核的ARP响应参数
vim /etc/sysctl.conf
##arp_ignore = 1 ，使本机只响应目的IP为本地物理网卡IP的ARP请求
##arp_announce = 2 使本机系统采用发送接口ip作为ARP的请求报文源文件
net.ipv4.conf.lo.arp_ignore = 1  
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
sysctl -p  ##刷新配置，读取修改后的配置
​
##创建站点目录
echo "this is benete web" > /var/www/html/index.html
cat /var/www/html/index.html

Snipaste_2022-10-14_15-36-30.png

部署2台负载调度器

主DR调度器：192.168.46.20/24

备DR调度器：192.168.46.30/24

两台调度器配置步骤相同，只是配置文件里的参数不同

##关闭防火墙
systemctl stop firewalld
setenforce 0
​
##安装ipvsadm工具和keepalived工具，加载ip_vs模块
yum install -y ipvsadm keepalived
modprobe ip_vs ##加载ip_vs模块
cat /proc/net/ip_vs   ##查看ip_vs模块的版本
​
##找到keepalived配置文件进行备份（主备都需要）
rpm -qc keepalived
/etc/keepalived/keepalived.conf     ##配置文件位置
/etc/sysconfig/keepalived
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
​
##修改keepalived的配置文件
vim keepalived.conf 
#定义全局参数
 global_defs {                   
     smtp_server 127.0.0.1   #修改这一行，将邮件服务指向本地
     router_id LVS_01   #指定服务器的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
     #vrrp_skip_check_adv_addr
     #vrrp_strict
     #vrrp_garp_interval 0
     #vrrp_gna_interval 0
     #将以上四行vrrp的配置注释掉， 取消严格遵守VRRP协议功能，否则VIP无法被连接
 }
 
 #定义VRRP热备实例参数
 vrrp_instance VI_1 {
     state MASTER     #指定热备状态，主为MASTER，备为BACKUP。但真正的主备是用优先级区分。
     interface ens33       #指定承载vip地址的物理接口
     virtual_router_id 51  #指定虚拟路由器的ID号，每个热备组保持一致。默认为51  
     #nopreempt      #如果设置非抢占模式，两个节点state必须为bakcup，并加上配置nopreempt
     priority 100             #指定优先级，数值越大优先级越高，这里设置主为100，备为90
     advert_int 1             #通告间隔秒数(心跳频率)
     authentication {         #定义认证信息,每个热备组保持一致
         auth_type PASS       #认证类型
         auth_pass abc123     #指定验证密码，主备服务器保持一致
     }
     virtual_ipaddress {         #指定群集vip地址
         192.168.46.200
     }
 }
 
 #指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
 virtual_server 192.168.46.200 80 {
     delay_loop 6                #健康检查的间隔时间(秒)
     lb_algo rr                  #指定调度算法，轮询(rr)
     lb_kind DR                  #指定群集工作模式，直接路由(DR)
     persistence_timeout 0       #连接保持时间(秒)
     protocol TCP                #应用服务采用的是 TCP协议
   
     real_server 192.168.46.50 80 {     #添加第一个Web节点的地址、端口
         weight 1      #节点的权重
         
         # SSL_GET {     #注释掉这个健康检查的方式，默认SSL_GET，我们采用TCP_CHECK
             #url {
              # path /
              # digest ff20ad2481f97b1754ef3e12ecd3a9cc
            # }
            # url {
             #  path /mrtg/
              # digest 9b3a0c85a887a256d6939da88aabd8cd
 
         TCP_CHECK {                 #采用TCP_CHECK健康检查的方式
             connect_port 80         #添加检查的目标端口
             connect_timeout 3       #添加连接超时(秒)
             nb_get_retry 3          #添加重试次数
             delay_before_retry 3    #添加重试间隔
         }
     }
 
     real_server 192.168.46.60 80 {      #添加第二个Web节点的地址、端口
         weight 1
         TCP_CHECK {
             connect_port 80
             connect_timeout 3
             nb_get_retry 3
             delay_before_retry 3
         }
     }
 }
 ##删除后面多余的配置##
​
##启动keepalived服务
systemctl start keepalived
ip addr ##查看虚拟网卡VIP
​
##保存调度策略，启动ipvsadm服务
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
ipvsadm -ln  ##查看调度策略
​
#调整响应参数，关闭Linux内核的重定向参数响应。
 #由于LVS负载调度器和各节点需要共用VIP地址，需要关闭icmp的重定向，关闭路由转发功能，不充当路由器
vim /etc/sysctl.conf
sysctl -p   ##刷新配置，读取修改后的配置
 net.ipv4.ip_forward = 0
 net.ipv4.conf.all.send_redirects = 0
 net.ipv4.conf.default.send_redirects = 0
 net.ipv4.conf.ens33.send_redirects = 0
​
##将主调度器配置文件传给备调度器
scp keepalived.conf 192.168.46.30:`pwd`
###备调度器修改配置文件，修改为"router_id LVS_02"、"state BACKUP"、"priority 90"，其他参数和主调度器保持一致。
vim keepalived.conf
 global_defs {
    ......
    router_id LVS_02  #指定服务器的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
 }
 
 vrrp_instance VI_1 {
     ......
     state  BACKUP  #指定热备状态，主为MASTER，备为BACKUP。
     priority 90    #指定优先级，数值越大优先级越高，这里设置主为100，备为90
     .......
 }

Snipaste_2022-10-14_15-39-01.png

Snipaste_2022-10-14_15-40-52.png

Snipaste_2022-10-14_16-18-39.png

Snipaste_2022-10-14_16-23-42.png

Snipaste_2022-10-14_16-26-39.png

Snipaste_2022-10-14_16-34-59.png

Snipaste_2022-10-14_16-37-34.png

备服务器

Snipaste_2022-10-14_16-40-07.png Snipaste_2022-10-14_16-41-20.png Snipaste_2022-10-14_16-42-16.png ### 客户端访问测试

Snipaste_2022-10-14_16-45-51.png

Snipaste_2022-10-14_17-02-56.png

关闭主调度器的keepalived模拟宕机

Snipaste_2022-10-14_17-04-14.png

主调度器宕机后，再次访问测试

Snipaste_2022-10-14_17-05-22.png Snipaste_2022-10-14_17-05-31.png

keepalived通过什么判断哪台主机为主服务器，通过什么方式配置浮动IP？

Keepalived首先做初始化先检查state状态，master为主服务器，backup为备服务器

然后在对比所有服务器的priority，谁的优先级高谁是最终的主服务器

优先级高的服务器会通过ip命令为自己的电脑配置一个提前定义好的浮动IP地址

keepalived的抢占与非抢占模式

抢占模式及MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来，非抢占模式及MASTER恢复后不抢占BACKUP升级为MASTER后的VIP

非抢占 式两节点state必须为BAKCUP，且必须配置nopreempt

注意：这样配置后，我们要注意启动服务的顺序，优先启动的获取master权限，与优先级没有关系了

keepalived 一种典型性故障现象：脑裂

脑裂现象：

主备调度器通过内网交换机连接，如果交换机挂了，则此时主调度器仍存活，但备份调度器收不到主调度器的VRRP信息，备调度器就会工作，两台调度器就会同时工作，出现脑裂现象。

主备调度器同时工作，如果web是无状态应用，那么客户端无论从哪一个调度器进行访问，页面内容相同。但如果是有状态应用，则两台调度器同时工作，会导致客户端显示的页面资源不一致

解决方法：

1、主备服务器之间使用双链路通信（关掉主服务器的keepalived服务器）

2、通过第三方监控软件系统来实时监控主备服务器及网络状态，如何再根据情况采取措施（关掉主服务器的keepalived服务器）

3、通过脚本来实现监控主备的网络状态

avatar
文章
阅读
粉丝