LVS+Keepalived群集

夏威夷果陆胖胖
199 阅读6分钟

keepalived

keepalived工具介绍

  • 专为LVS和HA设计的一款健康检查工具
  • 支持故障自动切换
  • 支持节点健康状态检查

keepalived实现原理

keepalived采用VRRP热备份协议实现linux服务器的多机热备功能

集群的三个条件

  • 负载均衡
  • 健康检查
  • 故障切换
  1. 对于节点服务器，健康检查如果发现故障的节点，就会将其隔离或者剔除集群，等到故障的几点修复故障后会重新加入集群中
  2. 对于负载均衡器，健康检查定时检查主机的和服务的状态），如果主故障了，会主动切换到备机器上运行
  3. 等待主机器恢复之后，会重新去承载业务运行

keepalived体系主要模块以及作用

keepalived体系中主要有三个模块，分别是：core、check和vrrp

  • core模块：为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析
  • vrrp模块：是实现vrrp协议的
  • check模块：负责健康检查，常见的方式有端口检查及URL检查

keepalived底层协议VRRP

keepalived故障切换master会定时向backup发送vrrp通过消息告知backup主服务一起正常，当backup收不到vrrp消息时候，并且等待超时，则判断master故障，接替master地位并接管vrr

keepalived怎么判断哪个是主

  • 优先级选最大的为master，VIP时主服务器用ip的命令在本机配置的keepalived脑裂现象如何产生的，又如何解决
  • 在某一次故障切换后，原来的master并没有真的挂掉，VIP还在而backup则已经抢占master地位，并也在本地配置VIP

VRRP虚拟冗余路由协议

  • 可以实现一主多备的功能，从而解决单点故障
  • VRRP会把多台路由器组成一个虚拟路由组vrid、vrrp生成一个虚拟路由器（包括虚拟ip和虚拟mac，局域网内的用户不关心那个是主那个是备，他们只是用虚拟路由器的虚拟ip作为他们网关）
  • 实际上虚拟ip是承载在master路由器，也就是说实际的数据包是通过master进行转发master
  • 把backup是通过优先级来决定那个是master，优先级最大的那台机器是master
  • backup只是用来监听master定时发送过来的VRRP报文，如果查实没有收到master发来的VRRP报文，backup就会抢占master地址，虚拟ip也会一起漂移到backup上

实验

实验环境

  • 主DR 服务器：192.168.42.11
  • 备DR 服务器：192.168.42.12
  • Web 服务器1：192.168.42.13
  • Web 服务器2：192.168.42.14
  • vip：192.168.42.100
  • 客户端：192.168.42.15

LVS部署

思路

  1. 配置负载调度器（主、备相同）
    • 1，配置keeplived（主、备DR 服务器上都要设置）
    • 2，启动ipvsadm服务（主DR和备DR服务器）
    • 3，调整proc响应参数，关闭Linux内核的重定向参数响应（主DR和备DR）
  2. 配置节点服务器
    • 编辑虚拟网卡（web1和web2）

1.配置负载调度器（主、备相同）

先配置主在配置备

systemctl stop firewalld.service
#关闭防火墙
setenforce 0

yum -y install ipvsadm keepalived
#虾藻需要使用的工具
modprobe ip_vs
#加载ip_vs模块
cat /proc/net/ip_vs
#查看ip_vs模块是否加载完成

主！！！ image.png

image.png

备！！！ image.png

image.png

配置keeplived（主、备DR 服务器上都要设置）

先配置主在配置备

cd /etc/keepalived/
#切换目录
cp keepalived.conf keepalived.conf.bak
#将配置文件拷贝一份
vim keepalived.conf
#编辑配置文件
......
global_defs {				
#定义全局参数
--10行--修改，邮件服务指向本地
	smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
	router_id LVS_01
--14行--注释掉，取消严格遵守VRRP协议功能，否则VIP无法被连接
	#vrrp_strict
}

vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
    state MASTER
--21行--修改，指定承载vip地址的物理接口
    interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	
    virtual_router_id 10
	#nopreempt		
        #如果设置非抢占模式，两个节点state必须为BACKUP，并加上配置 nopreempt
--23行--修改，指定优先级，数值越大优先级越高，这里设置主为100，备为90
    priority 100
    advert_int 1				#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致
        auth_pass abc123
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.80.188
    }
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.42.100 80 {
    delay_loop 6				#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
    lb_kind DR
    persistence_timeout 0			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
    real_server 192.168.42.13 80 {
        weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}

	real_server 192.168.42.14 80 {		#添加第二个 Web节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
##删除后面多余的配置##
}


systemctl start keepalived
ip addr						#查看虚拟网卡vip

主！！！ image.png

image.png

ca08fbb9ef466ce7710c32fb7bca406.png image.png

image.png

问题（主备都配置）

如果开启网卡时候没有虚拟VIP，就编辑虚拟网卡

开启不显示虚拟网卡:
vim /etc/sysconfig/network-scripts/ifcfg-ens33:0
#添加
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.42.100
NETMASK=255.255.255.0

主备都配置：
ipvsadm -A -t 192.168.42.42.100 -s rr
ipvsadm -A -t 192.168.42.42.13 -s r 192.168.42.11:80 -g
ipvsadm -A -t 192.168.42.42.14 -s r 192.168.42.12:80 -g

备！！！ image.png

image.png

ca08fbb9ef466ce7710c32fb7bca406.png

a075255fd94ddf20208df62b6472ef1.png

16f9554355974c6752251b7064c623b.png image.png 因为备是备用，在主没有坏的情况下是没有虚拟VIP的 image.png

启动ipvsadm服务（主和备服务器）

主！！！

ipvsadm-save > /etc/sysconfig/ipvsadm
#将ipvsadm保存到/etc/sysconfig/ipvsadm文件里
systemctl start ipvsadm
#开启ipvsadm

ipvsadm -ln
#查看当前ipvs模块中记录的连接

#如没有VIP 的分发策略，则重启 keepalived 服务，systemctl restart keepalived

image.png

备！！！

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm

ipvsadm -ln

image.png

调整proc响应参数，关闭Linux内核的重定向参数响应（主和备）

主！！！

vim /etc/sysctl.conf
#编译proc响应文件，添加以下内容
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p
#查看

image.png image.png

image.png

备！！！

vim /etc/sysctl.conf
#编译proc响应文件，添加一下内容
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p
#查看

image.png image.png

2.配置节点服务器（web服务器）

systemctl stop firewalld
setenforce 0

web1和web2都下载http服务
yum -y install httpd
systemctl start httpd

web1！！！

image.png

image.png

web2！！！

image.png

image.png

web1：
echo 'this is zly web!' > /var/www/html/index.html

web2：
echo 'this is nini web!' > /var/www/html/index.html

web1！！！

image.png web2！！！

image.png

编辑虚拟网卡（web1和web2）

vim /etc/sysconfig/network-scripts/ifcfg-lo:0
#编辑虚拟网卡，添加以下内容
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.42.100
NETMASK=255.255.255.255

service network restart 或 systemctl restart network
ifup lo:0
ifconfig lo:0
route add -host 192.168.42.100 dev lo:0
#添加路由

vim /etc/sysctl.conf
#编辑proc响应文件，添加以下内容
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

sysctl -p

web1！！！

image.png

image.png

image.png

image.png image.png

image.png web2！！！

image.png

image.png

image.png

image.png

image.png

image.png

3.测试验证

在客户端访问 http://192.168.42.100/ 
再在主服务器关闭 keepalived 服务后再测试， systemctl stop keepalived

image.png

断开主DR，依然可以访问 image.png

avatar
文章
阅读
粉丝