LVS+Keepalived集群

命令加载中
238 阅读10分钟

企业应用中，单台服务器承担应用存在单点故障的危险。

单点故障一旦发生， 企业服务将发生中断，造成极大的危害。

QQ截图20221014090607.png

1. Keepalived工具介绍

Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。

Keepalived是专为LVS和HA设计的一款健康检查工具：

  • 支持故障自动切换（Failover）

  • 支持节点健康状态检查（Health Checking）

    • 判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切换到backup节点保证业务正常，当master故障主机恢复后将其重新加入群集并且业务重新切换回master节点。

  • 官方网站: www.keepalived.orgl

一个合格的集群系统应该满足的条件：

1.负载均衡
2.健康检查   及时的发现有异常的节点服务器或者调度器
3.故障切换   及时的进行服务器切换，保证服务的正常运行

2. Keepalived实现原理剖析

2.1 Keepalived采用VRRP热备份协议

Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能。

VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案：

  • 由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务。
  • 每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态。
  • 若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务。
  • 在配置时设置优先级，优先级高的那一方为master。master节点承载着VIP地址。

QQ截图20221014091730.png

2.2 Keepalived工作原理

Keepalived是一个基于VRRP协议来实现的LVs服务高可用方案，可以解决静态路由出现的单点故障问题。

在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP，主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

3. Keepalived体系主要模块

keepalived体系架构中主要有三个模块，分别是core、check和vrrp。

  • core模块：为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析。

  • vrrp模块：是来实现VRRP协议的。（调度器之间的健康检查和主备切换）

  • check模块：负责健康检查，常见的方式有端口检查及URL检查（节点服务器的健康检查）

健康检查：常用的分为3中方式
1.心跳检查（ping/pong） 给对端发送ping请求报文，如果正常回去pong响应报文则认为正常，如果没有恢复或恢复正常则认为健康检查失败
2.端口检查  对socket套接字 （ip：port）进行tcp连接测试 （三次握手）  如果tcp连接成功则认为正常，如果tcp连接异常则认为健康检查异常
3.URL检查  对http：//URL  https：//URL 进行get方法请求，获取响应状态码，如果状态码为 >=200 <400则认为正常，如果状态码为>=400的则认为异常

4. LVS+Keepalived 高可用群集

4.1  部署2台web服务器

1、#关闭防火墙
systemctl stop firewalld
setenforce 0

2、#安装httpd，开启服务
mount /dev/sr0 /mnt     //挂载光盘
yum install httpd -y     //安装httpd服务
systemctl start httpd   //开启httpd服务

3、#配置虚拟IP地址（VIP:192.168.85.50），添加虚接口lo:0。  
#此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。 
#因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0

vim ifcfg-lo:0 //设置虚接口lo:0
DEVICE=lo:0  IPADDR=192.168.85.50 
NETMASK=255.255.255.255     //子网掩码必须全为1（即32个1） 
ONBOOT=yes
  
ifup lo:0         //启动虚接口
ifconfig lo:0     //查看虚接口的信息

4、#添加路由记录，dev指定出站网卡
route add -host 192.168.85.50 dev lo:0
route -n //以数字形式显示路由信息


#可以将添加路由的命令写入开机自启配置文件中，每次开机后自动执行
vim /etc/rc.local
/sbin/route add -host 192.168.85.50 dev lo:0
chmod +x /etc/rc.d/rc.local

5、#调整内核的ARP响应参数  
#arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。 
#arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。
vim /etc/sysctl.conf  
net.ipv4.conf.lo.arp_ignore = 1   
net.ipv4.conf.lo.arp_announce = 2 
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

  
sysctl -p //刷新配置，读取修改后的配置

6、#创建站点文件
echo "2121" > /var/www/html/index.html
cat /var/www/html/index.html
2121

第二台web节点服务器

与第一台的配置步骤相同。

1、#关闭防火墙
systemctl stop firewalld
setenforce 0

2、#安装httpd，开启服务
mount /dev/sr0 /mnt     //挂载光盘
yum install httpd -y     //安装httpd服务
systemctl start httpd   //开启httpd服务


3、#配置虚拟IP地址（VIP:192.168.85.60），添加虚接口lo:0。  
#此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。  
#因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0

vim ifcfg-lo:0 //设置虚接口lo:0  
DEVICE=lo:0  IPADDR=192.168.85.60  
NETMASK=255.255.255.255     //子网掩码必须全为1（即32个1） 
ONBOOT=yes
  
ifup lo:0         //启动虚接口
ifconfig lo:0     //查看虚接口的信息


4、#添加路由记录，dev指定出站网卡
route add -host 192.168.85.60 dev lo:0
route -n //以数字形式显示路由信息

#可以将添加路由的命令写入开机自启配置文件中，每次开机后自动执行

vim /etc/rc.local  /sbin/route add -host 192.168.85.60 dev lo:0
chmod +x /etc/rc.d/rc.local

5、#调整内核的ARP响应参数  
#arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。  
#arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。

vim /etc/sysctl.conf  
net.ipv4.conf.lo.arp_ignore = 1    
net.ipv4.conf.lo.arp_announce = 2  
net.ipv4.conf.all.arp_ignore = 1  
net.ipv4.conf.all.arp_announce = 2

  
sysctl -p //刷新配置，读取修改后的配置


6、#创建站点文件
echo "1122" > /var/www/html/index.html
cat /var/www/html/index.html   
1122

4.2 部署2台负载调度器

1、#关闭防火墙和selinux
systemctl stop firewalld
setenforce 0

2、#安装ipvsadm工具和keepalived工具，加载ip_vs模块
yum -y install ipvsadm keepalived
modprobe ip_vs       //加载ip_vs模块
cat /proc/net/ip_vs   //查看ip_vs模块的版本


3、#找到keeplived配置文件，进行备份（主、备DR 服务器上都要设置）

rpm -qc keepalived  
/etc/keepalived/keepalived.conf     //配置文件位置  
/etc/sysconfig/keepalived

cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak   //备份配置文件

ls  
keepalived.conf keepalived.conf.bak

4、#修改keeplived配置文件（主、备DR 服务器上都要设置）
vim keepalived.conf

global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地
	smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
	router_id LVS_01
--14行--注释掉，取消严格遵守VRRP协议功能，否则VIP无法被连接
	#vrrp_strict
}

vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
    state MASTER
--21行--修改，指定承载vip地址的物理接口
    interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	
    virtual_router_id 10
	#nopreempt		#如果设置非抢占模式，两个节点state必须为BACKUP，并加上配置 nopreempt
--23行--修改，指定优先级，数值越大优先级越高，这里设置主为100，备为90
    priority 100
    advert_int 1					#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致
        auth_pass abc123
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.85.60
    }
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.85.60 80 {
    delay_loop 6					#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
    lb_kind DR
    persistence_timeout 0			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
    real_server 192.168.85.70 80 {
        weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}

	real_server 192.168.85.80 80 {		#添加第二个 Web节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
##删除后面多余的配置##
}

5、#启动eepalived服务
systemctl start keepalived
ip addr   #查看虚拟网卡vip


6、#保存调度策略，启动 ipvsadm 服务
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
ipvsadm -ln   //查看调度策略

7、#调整 proc 响应参数，关闭Linux内核的重定向参数响应。 
#由于LVS负载调度器和各节点需要共用VIP地址，需要关闭icmp的重定向，关闭路由转发功能，不充当路由器

vim /etc/sysctl.conf
sysctl -p   //刷新配置，读取修改后的配置


9、#备调度器修改配置文件，修改为"router_id LVS_02"、"state BACKUP"、"priority 90"，其他参数和主调度器保持一致。
vim keepalived.conf
global_defs {

router_id LVS_02  #指定服务器的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02

}

vrrp_instance VI_1 {

     state BACKUP  #指定热备状态，主为MASTER，备为BACKUP。
     priority 90    #指定优先级，数值越大优先级越高，这里设置主为100，备为90
     
}

测试验证

在客户端访问 http://192.168.85.70/

再在主服务器关闭 keepalived 服务后再测试， systemctl stop keepalived

keepalived 一种典型性的故障现象：脑裂

脑裂现象：

主备调度器通过内网交换机连接，如果交换机挂了，则此时主调度器仍存活，但备份调度器收不到主调度器的VRRP信息，备调度器就会工作，两台调度器就会同时工作，出现脑裂现象。

主备调度器同时工作，如果web是无状态应用，那么客户端无论从哪一个调度器进行访问，页面内容相同。但如果是有状态应用，则两台调度器同时工作，会导致客户端显示的页面资源不一致。

解决脑裂问题的方法：

1、主备调度器多连一条线，即使交换机挂了，这两个还可以通信。

2、通过第三方监控软件，当发现两台调度器同时工作，则杀掉主调度器。

3、自己写一个脚本，例如crontab和while死循环执行，当监控到备调度器工作了，就杀掉主调度器的keepalived服务。

Keepalived通过什么判断哪台主机为主服务器,通过什么方式配置浮动IP？

  • Keepalived首先做初始化先检查state状态，master为主服务器，backup为备服务器。
  • 然后再对比所有服务器的priority，谁的优先级高谁是最终的主服务器。
  • 优先级高的服务器会通过ip命令为自己的电脑配置一个提前定义好的浮动IP地址。

keepalived的抢占与非抢占模式：

  • 抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后不抢占BACKUP升级为MASTER后的VIP
  • 非抢占式俩节点state必须为bakcup，且必须配置nopreempt。
    • 注意：这样配置后，我们要注意启动服务的顺序，优先启动的获取master权限，与优先级没有关系了。
avatar
文章
阅读
粉丝