LVS+Keepalived 高可用负载均衡群集

Mirage1250
135 阅读8分钟

Keepalived工具介绍

1.1 普通集群容易出现的问题

企业应用中，单台服务器承担应用存在单点故障的危险。

单点故障一旦发生， 企业服务将发生中断，造成极大的危害。

1.png

1.2 Keepalived工具介绍

Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。

Keepalived是专为LVS和HA设计的一款健康检查工具：

  • 支持故障自动切换（Failover）

  • 支持节点健康状态检查（Health Checking）

    • 判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切换到backup节点保证业务正常，当master故障主机恢复后将其重新加入群集并且业务重新切换回master节点。

  • 官方网站: www.keepalived.orgl

工作原理

在一个LVS服务集群中通常有主服务器(MASTER)和备份服务器(BACKUP)两种角色的服务器，但是对外表现为一个虚拟IP，主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

二、Keepalived实现原理剖析

2.1 Keepalived采用VRRP热备份协议

Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能。

VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案：

  • 由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务。
  • 每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态。
  • 若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务。
  • 在配置时设置优先级，优先级高的那一方为master。master节点承载着VIP地址。

2.png

2.2 Keepalived多机热备

Keepalived可实现多机热备，每个热备组可有多台服务器。（由于服务器的成本较高，一般使用2~3台服务器做热备组，大部分公司都是1主1备两台服务器）

双机热备的故障切换是由虚拟IP地址的漂移来实现，适用于各种应用服务器。

3.png

2.3 Keepalived工作原理

在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP，主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

  • 主服务器作用：转发数据；发送报文告诉备服务器自己在线。
  • 备服务器作用：监听主服务器发来的数据；收不到消息的时候就接替主服务器。

4.png

三、Keepalived体系主要模块

keepalived体系架构中主要有三个模块，分别是core、check和vrrp。

  • core模块：为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析。
  • vrrp模块：是来实现VRRP协议的。
  • check模块：负责健康检查，常见的方式有端口检查及URL检查。

四、LVS-DR模式+keepalived 高可用集群部署

主DR 服务器：192.168.80.30

备DR 服务器：192.168.80.40 Web 服务器1：192.168.80.10

Web 服务器2：192.168.80.20

vip：192.168.80.188

客户端：192.168.80.200

1.配置负载调度器（主、备相同）

systemctl stop firewalld.service 
setenforce 0 

yum -y install ipvsadm keepalived

（1）配置keeplived（主、备DR 服务器上都要设置）

cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf

......
global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地
	smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
	router_id LVS_01
}

vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
    state MASTER
--21行--修改，指定承载vip地址的物理接口
    interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	
    virtual_router_id 10
--23行--修改，指定优先级，数值越大优先级越高，主为100，备为99
    priority 100
    advert_int 1					#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致
        auth_pass abc123
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.80.188
    }
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.80.188 80 {
    delay_loop 6					#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
    lb_kind DR
    persistence_timeout 50			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
    real_server 192.168.80.10 80 {
        weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}

	real_server 192.168.80.20 80 {		#添加第二个 Web节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
##删除后面多余的配置##
}


systemctl start keepalived
ip addr show dev ens33				#查看虚拟网卡vip

（2）调整proce响应参数，关闭Linux内核的重定向参数响应

vim /etc/sysctl.conf

net.ipv4.ip_forward = 1 
net.ipv4.conf.all.send_redirects = 0 
net.ipv4.conf.default.send_redirects = 0 
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p

2.配置节点服务器

systemctl stop firewalld
setenforce 0

yum -y install httpd
systemctl start httpd

--192.168.80.10---
echo 'this is accp web!' > /var/www/html/index.html

--192.168.80.20---
echo 'this is benet web!' > /var/www/html/index.html

vim /etc/sysconfig/network-scripts/ifcfg-lo:0

DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.80.188
NETMASK=255.255.255.255

service network restart 或 systemctl restart network
ifup lo:0
ifconfig lo:0
route add -host 192.168.80.188 dev lo:0

vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

sysctl -p

第一步：配置负载调度器（主、备相同192.168.80.30和192.168.80.40）
1）安装Keepalived程序

20221017164058.png

2）给主配置文件做备份

20221017164143.png

3）修改配置文件如下：在这里插入图片描述

在这里插入图片描述

34行之后的内容如下图，其他配置都删除了。

在这里插入图片描述

4）查看虚拟网卡vip 20221017164937.png

第二步：调整proce响应参数，关闭Linux内核的重定向参数响应
1）关闭Linux内核的重定向参数响应

20221017165315.png

2）刷新配置

20221017165346.png

第三步：从DR服务器配置步骤和主服务器基本相同，步骤如图：

20221017165524.png

20221017165611.png

20221017165717.png

20221017165836.png

20221017170010.png

image.png

20221017170010.png

20221017170404.png

20221017170417.png

第四步：配置节点服务器（192.168.80.10和192.168.80.20）
1）安装http服务并开启

20221017171934.png

2）在当前网页站点目录中创建网页文件，并写入内容 20221017171942.png

3）在web1的浏览器中输入自己的ip进行验证 20221017172037.png

4）创建虚拟接口并进行相关配置 20221017172226.png

5）开启虚接口并查看 20221017172207.png

6）调整proce响应参数

20221017172531.png

7）更新配置

20221017172616.png

第五步：配置web2服务器，步骤和配置web1基本一样，如图：

20221017172712.png

20221017172736.png

20221017172825.png

20221017172916.png

20221017173031.png

20221017173049.png

20221017173134.png

第六步：验证结果

1）当前使用的为主DR服务器

20221017173609.png

2）断开主DR服务器的Keepalived测试
主服务器状态：

20221017173646.png

备服务器状态： 20221017173807.png

3.测试验证
在客户端访问 http://192.168.80.188/ ，默认网关指向 192.168.80.188
再在主服务器禁用网卡后再测试， ifdown ens33:0

image.png

image.png

小贴士：

keepalived是通过ip命令自动生成VIP的。

当主调度器进行工作时，则在主调度器中通过ip命令生成VIP。当备调度器工作时，则在备调度器中生成VIP。

keepalived 一种典型性的故障现象：脑裂

脑裂现象：

主备调度器通过内网交换机连接，如果交换机挂了，则此时主调度器仍存活，但备份调度器收不到主调度器的VRRP信息，备调度器就会工作，两台调度器就会同时工作，出现脑裂现象。

主备调度器同时工作，如果web是无状态应用，那么客户端无论从哪一个调度器进行访问，页面内容相同。但如果是有状态应用，则两台调度器同时工作，会导致客户端显示的页面资源不一致。

解决脑裂问题的方法：

1、主备调度器多连一条线，即使交换机挂了，这两个还可以通信。

2、通过第三方监控软件，当发现两台调度器同时工作，则杀掉主调度器。

3、自己写一个脚本，例如crontab和while死循环执行，当监控到备调度器工作了，就杀掉主调度器的keepalived服务。

总结

Keepalived通过什么判断哪台主机为主服务器，通过什么方式配置浮动IP？

  • Keepalived首先做初始化先检查state状态，master为主服务器，backup为备服务器。
  • 然后再对比所有服务器的priority，谁的优先级高谁是最终的主服务器。
  • 优先级高的服务器会通过ip命令，为自己配置一个提前定义好的浮动IP地址。

keepalived的抢占与非抢占模式：

  • 抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后，不抢占BACKUP升级为MASTER后的VIP。
  • 非抢占式俩节点的state必须都设置为bakcup，且必须配置nopreempt。

注意：这样配置后，我们要注意启动服务的顺序，优先启动的获取master权限，与优先级没有关系了。

avatar
文章
阅读
粉丝