Keepalived工具介绍

Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。

Keepalived是专为LVS和HA设计的一款健康检查工具：

支持故障自动切换（Failover）
支持节点健康状态检查（Health Checking）

keepalived健康检查

layer3、4和7工作在IP/TCP协议栈的IP层、传输层及应用层，实现原理分别如下：

layer3：keepalived使用layer3的方式工作式时，keepalived会定期向服务器群中的服务器发送一个ICMP的数据包，如果发现某台服务的IP地址无法ping通，keepalived便报告这台服务器失效，并将它从服务器集群中剔除。layer3的方式是以服务器的IP地址是否有效作为服务器工作正常与否的标准。

layer4：layer4主要以TCP端口的状态来决定服务器工作正常与否。如Web server的服务端口一般是80，如果keepalived检测到80端口没有启动，则keepalived将把这台服务器从服务器群中剔除。

layer7：layer7工作在应用层，keepalived将根据用户的设定检查服务器程序的运行是否正常，如果与用户的设定不相符，则keepalived将把服务器从服务器群中剔除。

Keepalived采用VRRP热备份协议

VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案：

由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务。
每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态。
若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务。
在配置时设置优先级，优先级高的那一方为master。master节点承载着VIP地址。

VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP多播(multicast)包（多播地址224.0.0.18）形式发送的。虚拟路由器由VRID（范围0～255）和一组IP地址组成，对外表现为一个周知的MAC地址。所以在一组虚拟路由器集群中，不管谁是master，对外都是相同的MAC和VIP。客户端主机并不需要因为master的改变而修改自己的路由配置。

工作方式：抢占式，非抢占式，延迟抢占模式，

Keepalived体系主要模块

keepalived体系架构中主要有三个模块，分别是core、check和vrrp。

core模块：为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析。
vrrp模块：是来实现VRRP协议的。
check模块：负责健康检查，常见的方式有端口检查及URL检查。

Keepalived 相关文件

软件包名：keepalived

主程序文件：/usr/sbin/keepalived

主配置文件：/etc/keepalived/keepalived.conf

配置文件示例：/usr/share/doc/keepalived/

Unit File：/lib/systemd/system/keepalived.service

Unit File的环境配置文件： / etc/sysconfig/keepalived CentOS

配置组成

/etc/keepalived/keepalived.conf 配置组成

GLOBAL CONFIGURATION

Global definitions（全局配置）：定义邮件配置，route_id，vrrp配置，多播地址等

VRRP CONFIGURATION

VRRP instance(s)：定义vrrp协议中的每个vrrp虚拟路由器的规则，基本信息

LVS CONFIGURATION（lvs调度服务器的规则设置）

Virtual server group(s)

Virtual server(s)：LVS集群的VS和RS

LVS-DR模式+keepalived 高可用集群部署

部署2台web服务器

第一台web节点服务器（192.168.72.30/24），VIP：192.168.72.200/32

 1、#关闭防火墙
 [root@web1 ~]# systemctl stop firewalld
 [root@web1 ~]# setenforce 0
 
 2、#安装httpd，开启服务
 [root@web1 ~]# mount /dev/sr0 /mnt      //挂载光盘
 mount: /dev/sr0 写保护，将以只读方式挂载
 [root@web1 ~]# yum install httpd -y     //安装httpd服务
 [root@web1 ~]# systemctl start httpd    //开启httpd服务
 
 3、#配置虚拟IP地址（VIP:192.168.72.200），添加虚接口lo:0。
 #此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。
 #因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。
 [root@web1 ~]# cd /etc/sysconfig/network-scripts/
 [root@web1 network-scripts]# cp ifcfg-lo ifcfg-lo:0
 [root@web1 network-scripts]# vim ifcfg-lo:0  //设置虚接口lo:0
 DEVICE=lo:0
 IPADDR=192.168.72.200
 NETMASK=255.255.255.255     //子网掩码必须全为1（即32个1）
 ONBOOT=yes
 [root@web1 network-scripts]# ifup lo:0         //启动虚接口
 [root@web1 network-scripts]# ifconfig lo:0     //查看虚接口的信息
 
 4、#添加路由记录，dev指定出站网卡
 [root@web1 ~]# route add -host 192.168.72.200 dev lo:0  
 [root@web1 ~]# route -n  //以数字形式显示路由信息
 
 #可以将添加路由的命令写入开机自启配置文件中，每次开机后自动执行
 [root@web1 ~]# vim /etc/rc.local
 /sbin/route add -host 192.168.72.200 dev lo:0
 [root@web1 ~]# chmod +x /etc/rc.d/rc.local
 
 5、#调整内核的ARP响应参数
 #arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。
 #arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。
 [root@web1 ~]# vim /etc/sysctl.conf
 net.ipv4.conf.lo.arp_ignore = 1  
 net.ipv4.conf.lo.arp_announce = 2
 net.ipv4.conf.all.arp_ignore = 1
 net.ipv4.conf.all.arp_announce = 2
 [root@web1 ~]# sysctl -p  //刷新配置，读取修改后的配置
 
 6、#创建站点文件
 [root@web1 ~]# echo "tt is a girl" > /var/www/html/index.html
 [root@web1 ~]# cat /var/www/html/index.html
  tt is a girl

第二台web节点服务器同理（192.168.72.40/24），VIP：192.168.72.200/32

部署2台负载调度器

主DR调度器：192.168.72.10/24

备DR调度器：192.168.72.192/24

两台调度器配置步骤相同，配置文件的参数有所不同。

 1、#关闭防火墙和selinux
 [root@yuji ~]# systemctl stop firewalld
 [root@yuji ~]# setenforce 0
 
 2、#安装ipvsadm工具和keepalived工具，加载ip_vs模块
 [root@yuji ~]# yum -y install ipvsadm keepalived
 [root@yuji ~]# modprobe ip_vs        //加载ip_vs模块
 [root@yuji ~]# cat /proc/net/ip_vs   //查看ip_vs模块的版本
 
 
 3、#找到keeplived配置文件，进行备份（主、备DR 服务器上都要设置）
 [root@yuji ~]# rpm -qc keepalived
 /etc/keepalived/keepalived.conf     //配置文件位置
 /etc/sysconfig/keepalived
 [root@yuji ~]# cd /etc/keepalived/
 [root@yuji keepalived]# cp keepalived.conf keepalived.conf.bak   //备份配置文件
 [root@yuji keepalived]# ls
 keepalived.conf  keepalived.conf.bak
 
 
 4、#修改keeplived配置文件（主、备DR 服务器上都要设置）
 [root@yuji keepalived]# vim keepalived.conf
 ......
 #定义全局参数
 global_defs {                   
     smtp_server 127.0.0.1   #修改这一行，将邮件服务指向本地
     router_id LVS_01   #指定服务器的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
     #vrrp_skip_check_adv_addr
     #vrrp_strict
     #vrrp_garp_interval 0
     #vrrp_gna_interval 0
     #将以上四行vrrp的配置注释掉， 取消严格遵守VRRP协议功能，否则VIP无法被连接
 }
 
 #定义VRRP热备实例参数
 vrrp_instance VI_1 {
     state MASTER     #指定热备状态，主为MASTER，备为BACKUP。但真正的主备是用优先级区分。
     interface ens33       #指定承载vip地址的物理接口
     virtual_router_id 51  #指定虚拟路由器的ID号，每个热备组保持一致。默认为51  
     #nopreempt      #如果设置非抢占模式，两个节点state必须为bakcup，并加上配置nopreempt
     priority 100             #指定优先级，数值越大优先级越高，这里设置主为100，备为90
     advert_int 1             #通告间隔秒数(心跳频率)
     authentication {         #定义认证信息,每个热备组保持一致
         auth_type PASS       #认证类型
         auth_pass abc123     #指定验证密码，主备服务器保持一致
     }
     virtual_ipaddress {         #指定群集vip地址
         192.168.72.200
     }
 }
 
 #指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
 virtual_server 192.168.72.200 80 {
     delay_loop 6                #健康检查的间隔时间(秒)
     lb_algo rr                  #指定调度算法，轮询(rr)
     lb_kind DR                  #指定群集工作模式，直接路由(DR)
     persistence_timeout 0       #连接保持时间(秒)配置值最好跟lvs的配置的timeout一致。
     protocol TCP                #应用服务采用的是 TCP协议
   
     real_server 192.168.72.30 80 {     #添加第一个Web节点的地址、端口
         weight 1      #节点的权重
         
         # SSL_GET {     #注释掉这个健康检查的方式，默认SSL_GET，我们采用TCP_CHECK
             #url {
              # path /
              # digest ff20ad2481f97b1754ef3e12ecd3a9cc
            # }
            # url {
             #  path /mrtg/
              # digest 9b3a0c85a887a256d6939da88aabd8cd
 
         TCP_CHECK {                 #采用TCP_CHECK健康检查的方式
             connect_port 80         #添加检查的目标端口
             connect_timeout 3       #添加连接超时(秒)
             nb_get_retry 3          #添加重试次数
             delay_before_retry 3    #添加重试间隔
         }
     }
 
     real_server 192.168.72.40 80 {      #添加第二个Web节点的地址、端口
         weight 1
         TCP_CHECK {
             connect_port 80
             connect_timeout 3
             nb_get_retry 3
             delay_before_retry 3
         }
     }
 }
 ##删除后面多余的配置##
 
 
 
 5、#启动eepalived服务
 [root@yuji keepalived]# systemctl start keepalived
 [root@yuji keepalived]# ip addr   #查看虚拟网卡vip
 
 
 6、#保存调度策略，启动 ipvsadm 服务
 [root@yuji keepalived]# ipvsadm-save > /etc/sysconfig/ipvsadm
 [root@yuji keepalived]# systemctl start ipvsadm
 [root@yuji keepalived]# ipvsadm -ln    //查看调度策略
 IP Virtual Server version 1.2.1 (size=4096)
 Prot LocalAddress:Port Scheduler Flags
   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
 TCP  192.168.72.200:80 rr persistent 50
   -> 192.168.72.30:80             Masq    1      0          0         
   -> 192.168.72.40:80             Masq    1      0          0    
 #如没有VIP 的分发策略，则重启 keepalived 服务，systemctl restart keepalived
 
 
 7、#调整 proc 响应参数，关闭Linux内核的重定向参数响应。
 #由于LVS负载调度器和各节点需要共用VIP地址，需要关闭icmp的重定向，关闭路由转发功能，不充当路由器
 [root@yuji keepalived]# vim /etc/sysctl.conf
 [root@yuji keepalived]# sysctl -p   //刷新配置，读取修改后的配置
 net.ipv4.ip_forward = 0
 net.ipv4.conf.all.send_redirects = 0
 net.ipv4.conf.default.send_redirects = 0
 net.ipv4.conf.ens33.send_redirects = 0
 
 
 8、#主调度器将配置文件传给备调度器。
 [root@localhost keepalived]# scp keepalived.conf 192.168.72.192:`pwd`
 
 
 9、#备调度器修改配置文件，修改为"router_id LVS_02"、"state BACKUP"、"priority 90"，其他参数和主调度器保持一致。
 [root@bei keepalived]# vim keepalived.conf
 global_defs {
    ......
    router_id LVS_02  #指定服务器的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
 }
 
 vrrp_instance VI_1 {
     ......
     state  BACKUP  #指定热备状态，主为MASTER，备为BACKUP。
     priority 90    #指定优先级，数值越大优先级越高，这里设置主为100，备为90
     .......
 }

非抢占与延迟抢占

#非抢占式
#1主机配置
vrrp_instance VI_1 {
 state BACKUP     #都为BACKUP
 interface ens33
 virtual_router_id 66
 priority 100   #优先级高
 advert_int 1
 nopreempt         #添加此行，都为nopreempt
#2主机配置
vrrp_instance VI_1 {
 state BACKUP         #都为BACKUP
 interface ens33
 virtual_router_id 66
 priority 80       #优先级低
 advert_int 1
 nopreempt   #添加此行，都为nopreempt
 
#延迟抢占
preempt_delay #     #指定抢占延迟时间为#s，默认延迟300s
#注意：需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict
#1主机配置
vrrp_instance VI_1 {
 state BACKUP     #都为BACKUP
 interface eth0
 virtual_router_id 66
 
 priority 100     #优先级高
 advert_int 1 
 preempt_delay 30  #抢占延迟模式，默认延迟300s
 
 #2主机配置
vrrp_instance VI_1 {
 state BACKUP       #都为BACKUP
 interface eth0
 virtual_router_id 66
 priority 80     #优先级低
 advert_int 1 
 
 priority 80   #优先级高
 advert_int 1 
 preempt_delay 60    #抢占延迟模式，默认延迟300s

单播

在所有节点vrrp_instance语句块中设置对方主机的IP，建议设置为专用于对应心跳线网络的地址，而非使用业务网络

主
vrrp_instance VI_1 {
...
unicast_src_ip 192.168.91.100     #本机IP
   unicast_peer{
   192.168.91.101 #指向对方主机IP 如果有多个keepalived,再下面加其它节点的IP
   }
}

备
vrrp_instance VI_2 {
...
unicast_src_ip 192.168.91.100     #本机IP
   unicast_peer{
   192.168.91.101 #指向对方主机IP 如果有多个keepalived,再下面加其它节点的IP
   }
}

日志分隔

[root@localhost opt]#keepalived --help
#查看帮助
[root@localhost opt]#ps aux |grep keep
root      25326  0.0  0.0 118616  1372 ?        Ss   11月20   0:00 /usr/sbin/keepalived -D
root      25327  0.0  0.1 127480  3336 ?        S    11月20   0:01 /usr/sbin/keepalived -D
root      25328  0.0  0.1 129500  2852 ?        S    11月20   0:01 /usr/sbin/keepalived -D
root      26877  0.0  0.0 112676   980 pts/0    S+   00:37   0:00 grep --color=auto keep
[root@localhost opt]#vim /lib/systemd/system/keepalived.service 
EnvironmentFile=-/etc/sysconfig/keepalived
ExecStart=/usr/sbin/keepalived $KEEPALIVED_OPTIONS
[root@localhost opt]#vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -S 6"

[root@localhost opt]#vim /etc/rsyslog.conf 
# Save boot messages also to boot.log
local7.*                                                /var/log/boot.log
local6.*                                                /var/log/keepalived.log

[root@localhost opt]#systemctl restart keepalived.service rsyslog.service 
[root@localhost opt]#cat /var/log/keepalived.log
#查看日志文件

keepalived 一种典型性的故障现象：脑裂

脑裂现象：

主备调度器通过内网交换机连接，如果交换机挂了，则此时主调度器仍存活，但备份调度器收不到主调度器的VRRP信息，备调度器就会工作，两台调度器就会同时工作，出现脑裂现象。

主备调度器同时工作，如果web是无状态应用，那么客户端无论从哪一个调度器进行访问，页面内容相同。但如果是有状态应用，则两台调度器同时工作，会导致客户端显示的页面资源不一致。

解决脑裂问题的方法：

1、主备调度器多连一条线，即使交换机挂了，这两个还可以通信。

2、通过第三方监控软件，当发现两台调度器同时工作，则杀掉主调度器。

3、自己写一个脚本，例如crontab和while死循环执行，当监控到备调度器工作了，就杀掉主调度器的keepalived服务。

4.仲裁脚本发现ping不通网关，则关闭keepalived。

写一个while循环，每轮ping网关，累计连续失败的次数，当连续失败达到一定次数则运行service keepalived stop关闭keepalived服务。

如果发现又能够ping通网关，再重启keepalived服务。最后在脚本开头再加上脚本是否已经运行的判断逻辑，将该脚本加到crontab里面

下面是生产场景检测裂脑故障的一些思路：

1)简单判断的思想：只要备节点出现VIP就报警，这个报警有两种情况，一是主机宕机了备机接管了；二是主机没宕，裂脑了。不管属于哪个情况，都进行报警，然后由人工查看判断及解决。

2）比较严谨的判断：备节点出现对应VIP，并且主节点及对应服务（如果能远程连接主节点看是否有VIP就更好了）还活着，就说明发生裂脑了。

如何快速排查负载均衡故障？

步骤如下：

A.确定问题是部分还是全部？是网络问题还是系统问题？

B.检查后端服务是否正常。因为后端才是真实提供服务的场所，是整个负载均衡存在的根基（就算负载均衡体系暂时崩溃了，只要后端服务正常，可临时采取措施，把用户请求直接暴露给用户，可最快速度恢复业务）。在实际的工作中，大部分的故障集中在后端服务器，比如大名鼎鼎的502。

C.排查负载均衡是否正常。一般情况下，负载均衡服务器基本不安装其它服务（一机多用者慎重），因此，除了硬盘被日志塞满产生故障外，另外一个可能就是硬件损坏。本人管理的系统，运行时间最长的负载均衡服务器，有超过八年没趴窝的。

LVS+Keepalived 高可用负载均衡群集