负载均衡群集原理
群集的含义:由多台主机构成,但对外只表现为一个整体,只提供一个访问入口(域名或IP地址)(多台主机,相同的功能、执行相同的工作)
扩展的方式
- 纵向扩展:对服务器的CPU内存、硬盘等硬件进行升级或者扩容来实现的。具有性能上限会有瓶颈,成本昂贵,收效比不高等问题
- 横向扩展:通过增加服务器主机数量来应对高并发的场景
通过整合多台服务器,使用LVS来达到服务器的高可用和负载均衡,并以同一个IP地址对外提供相同的服务。
群集类型
-
负载均衡(LB):提高应用系统的响应效率,处理更多的访问请求,减少延迟,提高并发和负载能力
- LB的负载分配依赖于主节点的分流算法,将来自客户机的访问请求分担给多个服务器节点,从而缓解整个系统的负载压力。例如,DNS轮询、反向代理等
-
高可用(HA):提高应用系统的可靠性,减少服务中断时间,确保服务的连续性
- HA的工作方式包括双工和主从两种模式,双工即所有节点同时在线;主从则只有主节点在线,但当出现故障时从节点能自动切换为主节点。例如,故障切换、双机热备等
-
高性能运算(HPC):将多台主机的硬件计算资源整合到一起实现分布式运算,比如云计算
负载均衡群集架构
-
第一层:负载调度器
访问整个群集系统的唯一入口,对外使用所有服务器共有的VIP地址,也称为群集IP地址。通常会配置主、备两台调度器实现热备份,当主调度器失效以后能够平滑替换至备用调度器,确保高可用性。(通过VIP接收用户的请求,再通过调度算法确定要转发的节点服务器) -
第二层:服务器池
群集所提供的应用服务、由服务器池承担,其中每个节点具有独立的RIP地址(真实IP),只处理调度器分发过来的客户机请求。当某个节点暂时失效时,负载调度器的容错机制会将其隔离,等待错误排除以后再重新纳入服务器池。(服务器池中的节点服务器通过RIP接收调度器转发来的请求,并处理请求进行响应) -
第三层:共享存储
为服务器池中的所有节点提供稳定、一致的文件存取服务,确保整个群集的统一性。共享存储可以使用 NAS设备,或者提供 NFS共享服务的专用服务器。(为各个节点服务器提供稳定、一致的文件存取服务,比如NAS+NFS,文件服务器+NFS,分布式对象存储等存储设备 )
LVS模式
群集的负载调度技术有三种工作模式
- 地址转换(NAT):调度器作为所有节点服务器的网关,既作客户端的访问入口,也作节点服务器响应的访问出口,也就意味着调度器将成为整个集群系统的瓶颈;由于在转发过程中做了地址转发,对于节点服务器的安全性比其它模式较好;调度器至少要有2个网卡,一个承载VIP用于接收客户端的请求,另一个用于使用私有IP在同一个局域网中与节点服务器相互通信
- 直接路由(DR):调度器只负责接收客户端的请求,并根据调度算法转发给节点服务器;节点服务器在处理完请求后是直接响应返回给客户端,响应的数据包不经过调度器;比NAT模式性能高;调度器和节点服务器使用私有IP在同一个局域网中与节点服务器相互通信
- IP隧道(TUN):架构与DR相类似,但是节点服务器分散在互联网各个位置,都具有独立的公网IP,通过专用IP隧道与调度器相互通信
LVS(Linux虚拟服务器)
LVS是针对Linux内核开发的负载均衡解决方案。
LVS 实际上相当于基于IP地址的虚拟化应用,为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法。
LVS已成为Linux内核的一部分,默认编译为ip_vs模块,必要时能够自动调用。
在CentOS 7系统中,modprobe ip_vs操作可以手动加载ip_vs模块,cat /proc/net/ip_vs查看当前系统中ip_vs模块的版本信息。
LVS的负载调度算法
-
固定调度算法
- 轮询(rr):将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器),均等地对待每一台服务器,而不管服务器实际的连接数和系统负载
- 加权轮询(wrr):根据调度器设置的权重值来分发请求,权重值高的节点优先获得任务,分配的请求数越多;保证性能强的服务器承担更多的访问流量
- 目的地址哈希调度(dh):以目的地址为关键字查找一个静态hash表来获得所需RS
- 源地址哈希调度(sh):以源地址为关键字查找一个静态hash表来获得需要的RS
-
动态调度算法
- 最少连接(lc):根据真实服务器已建立的连接数进行分配,将收到的访问请求优先分配给连接数最少的节点
- 加权最少连接(wlc):在服务器节点的性能差异较大时,可以为真实服务器自动调整权重;性能较高的节点将承担更大比例的活动连接负载
- 基于地址的最小连接数调度(lblc):将来自同一个目的地址的请求分配给同一台RS,此时这台服务器是尚未满负荷的。如果满负荷,就将这个请求分配给连接数最小的RS,并以它作为下一次分配放首先考虑
LVS-NAT部署
ipvsadm工具
作用
- 创建虚拟服务器
- 增加、删除服务器节点
- 查看群集及节点情况
- 保存负载分配策略
ipvsadm工具选项说明
| 选项 | 作用 |
|---|---|
| -A | 添加虚拟服务器 |
| -D | 删除整个虚拟服务器 |
| -s | 指定负载调度算法(轮询: rr、加权轮询: wrr、最少连接:lc、加权最少连接: wlc) |
| -a | 表示添加真实服务器(节点服务器) |
| -d | 删除某一个节点 |
| -t | 指定VIP地址及TCP端口 |
| -r | 指定RIP地址及TCP端口 |
| -m | 表示使用NAT群集模式 |
| -g | 表示使用DR模式 |
| -i | 表示使用TUN模式 |
| -w | 设置权重(权重为o时表示暂停节点) |
| -p 60 | 表示保持长连接60秒 |
| -l | 列表查看LVS虚拟服务器(默认为查看所有) |
| -n | 以数字形式显示地址、端口等信息,常与"-l"选项组合使用。ipvsadm -ln |
NAT模式 LVS负载均衡群集部署
准备工作
- 负载调度器:内网关 ens33:192.168.44.30,外网关 ens36:12.0.0.1
- Web节点服务器1:192.168.44.40
- Web节点服务器2:192.168.44.50
- NFS服务器:192.168.44.20
- 客户端:12.0.0.12
步骤
-
部署共享存储(NFS服务器:192.168.44.20)
-
关闭防火墙和selinux
-
安装rpcbind和nfs-utils,并开启服务
-
准备共享目录及站点文件
-
修改/etc/exports,并重启服务
-
-
配置节点服务器(192.168.44.40、192.168.44.50)
-
关闭防火墙和selinux
-
安装并开启httpd
-
安装rpcbind和nfs-utils,并开启服务
-
挂载共享目录
- 如果需要永久挂载,在/etc/fstab中加入
192.168.44.20:/opt/one /var/www/html nfs defaults,_netdev 0 0(web2挂载/opt/two)
- 如果需要永久挂载,在/etc/fstab中加入
-
-
配置负载调度器(内网关 ens33:192.168.44.30,外网关 ens36:12.0.0.1)
-
关闭防火墙和selinux
- 配置SNAT转发规则
-
开启路由转发功能
-
-
添加SNAT
-
加载LVS内核模块
- 如果要加载所有模块
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done
- 如果要加载所有模块
-
安装ipvsadm 管理工具
-
启动服务,启动服务前须保存负载分配策略
-
配置负载分配策略(NAT模式只要在服务器上配置,节点服务器不需要特殊配置)
-
-
客户机访问网关地址(12.0.0.1)测试效果,刷新后能访问到另一节点服务器
补充内容
ipvsadm -d -t 12.0.0.1:80 -r 192.168.44.40:80 #删除群集中某一节点服务器
ipvsadm -D -t 12.0.0.1:80 #删除整个虚拟服务器
systemctl stop ipvsadm #停止服务(清空策略)
systemctl start ipvsadm #启动服务(根据/etc/sysconfig/ipvsadm重建配置)
ipvsadm-restore < /opt/ipvsadm #恢复LVS 策略