LVS负载均衡群集

239 阅读8分钟

image.png


负载均衡群集原理

群集的含义:由多台主机构成,但对外只表现为一个整体,只提供一个访问入口(域名或IP地址)(多台主机,相同的功能、执行相同的工作)

扩展的方式

  • 纵向扩展:对服务器的CPU内存、硬盘等硬件进行升级或者扩容来实现的。具有性能上限会有瓶颈,成本昂贵,收效比不高等问题
  • 横向扩展:通过增加服务器主机数量来应对高并发的场景

通过整合多台服务器,使用LVS来达到服务器的高可用和负载均衡,并以同一个IP地址对外提供相同的服务。

群集类型

  • 负载均衡(LB):提高应用系统的响应效率处理更多的访问请求减少延迟,提高并发和负载能力

    • LB的负载分配依赖于主节点的分流算法,将来自客户机的访问请求分担给多个服务器节点,从而缓解整个系统的负载压力。例如,DNS轮询、反向代理等
  • 高可用(HA):提高应用系统的可靠性,减少服务中断时间,确保服务的连续性

    • HA的工作方式包括双工主从两种模式,双工即所有节点同时在线;主从则只有主节点在线,但当出现故障时从节点能自动切换为主节点。例如,故障切换、双机热备等
  • 高性能运算(HPC):将多台主机的硬件计算资源整合到一起实现分布式运算,比如云计算

负载均衡群集架构

  • 第一层:负载调度器
    访问整个群集系统的唯一入口,对外使用所有服务器共有的VIP地址,也称为群集IP地址。通常会配置主、备两台调度器实现热备份,当主调度器失效以后能够平滑替换至备用调度器,确保高可用性。(通过VIP接收用户的请求,再通过调度算法确定要转发的节点服务器)

  • 第二层:服务器池
    群集所提供的应用服务、由服务器池承担,其中每个节点具有独立的RIP地址(真实IP),只处理调度器分发过来的客户机请求。当某个节点暂时失效时,负载调度器的容错机制会将其隔离,等待错误排除以后再重新纳入服务器池。(服务器池中的节点服务器通过RIP接收调度器转发来的请求,并处理请求进行响应)

  • 第三层:共享存储
    为服务器池中的所有节点提供稳定、一致的文件存取服务,确保整个群集的统一性。共享存储可以使用 NAS设备,或者提供 NFS共享服务的专用服务器。(为各个节点服务器提供稳定、一致的文件存取服务,比如NAS+NFS,文件服务器+NFS,分布式对象存储等存储设备 )

image.png

LVS模式

群集的负载调度技术有三种工作模式

  • 地址转换(NAT):调度器作为所有节点服务器的网关,既作客户端的访问入口,也作节点服务器响应的访问出口,也就意味着调度器将成为整个集群系统的瓶颈;由于在转发过程中做了地址转发,对于节点服务器的安全性比其它模式较好;调度器至少要有2个网卡,一个承载VIP用于接收客户端的请求,另一个用于使用私有IP在同一个局域网中与节点服务器相互通信

image.png

  • 直接路由(DR):调度器只负责接收客户端的请求,并根据调度算法转发给节点服务器;节点服务器在处理完请求后是直接响应返回给客户端,响应的数据包不经过调度器;比NAT模式性能高;调度器和节点服务器使用私有IP在同一个局域网中与节点服务器相互通信

image.png

  • IP隧道(TUN):架构与DR相类似,但是节点服务器分散在互联网各个位置,都具有独立的公网IP,通过专用IP隧道与调度器相互通信

image.png

LVS(Linux虚拟服务器)

LVS是针对Linux内核开发的负载均衡解决方案。
LVS 实际上相当于基于IP地址的虚拟化应用,为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法。

LVS已成为Linux内核的一部分,默认编译为ip_vs模块,必要时能够自动调用。
在CentOS 7系统中,modprobe ip_vs操作可以手动加载ip_vs模块,cat /proc/net/ip_vs查看当前系统中ip_vs模块的版本信息。 image.png

LVS的负载调度算法

  • 固定调度算法

    • 轮询(rr):将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器),均等地对待每一台服务器,而不管服务器实际的连接数和系统负载
    • 加权轮询(wrr):根据调度器设置的权重值来分发请求,权重值高的节点优先获得任务,分配的请求数越多;保证性能强的服务器承担更多的访问流量
    • 目的地址哈希调度(dh):以目的地址为关键字查找一个静态hash表来获得所需RS
    • 源地址哈希调度(sh):以源地址为关键字查找一个静态hash表来获得需要的RS
  • 动态调度算法

    • 最少连接(lc):根据真实服务器已建立的连接数进行分配,将收到的访问请求优先分配给连接数最少的节点
    • 加权最少连接(wlc):在服务器节点的性能差异较大时,可以为真实服务器自动调整权重;性能较高的节点将承担更大比例的活动连接负载
    • 基于地址的最小连接数调度(lblc):将来自同一个目的地址的请求分配给同一台RS,此时这台服务器是尚未满负荷的。如果满负荷,就将这个请求分配给连接数最小的RS,并以它作为下一次分配放首先考虑

LVS-NAT部署

ipvsadm工具

作用

  • 创建虚拟服务器
  • 增加、删除服务器节点
  • 查看群集及节点情况
  • 保存负载分配策略
ipvsadm工具选项说明
选项作用
-A添加虚拟服务器
-D删除整个虚拟服务器
-s指定负载调度算法(轮询: rr、加权轮询: wrr、最少连接:lc、加权最少连接: wlc)
-a表示添加真实服务器(节点服务器)
-d删除某一个节点
-t指定VIP地址及TCP端口
-r指定RIP地址及TCP端口
-m表示使用NAT群集模式
-g表示使用DR模式
-i表示使用TUN模式
-w设置权重(权重为o时表示暂停节点)
-p 60表示保持长连接60秒
-l列表查看LVS虚拟服务器(默认为查看所有)
-n以数字形式显示地址、端口等信息,常与"-l"选项组合使用。ipvsadm -ln

NAT模式 LVS负载均衡群集部署

准备工作

  • 负载调度器:内网关 ens33:192.168.44.30,外网关 ens36:12.0.0.1
  • Web节点服务器1:192.168.44.40
  • Web节点服务器2:192.168.44.50
  • NFS服务器:192.168.44.20
  • 客户端:12.0.0.12

步骤

  1. 部署共享存储(NFS服务器:192.168.44.20)

    • 关闭防火墙和selinux image.png

    • 安装rpcbind和nfs-utils,并开启服务 image.png

    • 准备共享目录及站点文件 image.png

    • 修改/etc/exports,并重启服务 image.png image.png

  2. 配置节点服务器(192.168.44.40、192.168.44.50)

    • 关闭防火墙和selinux image.png

    • 安装并开启httpd image.png image.png

    • 安装rpcbind和nfs-utils,并开启服务 image.png image.png

    • 挂载共享目录 image.png image.png

      • 如果需要永久挂载,在/etc/fstab中加入192.168.44.20:/opt/one /var/www/html nfs defaults,_netdev 0 0(web2挂载/opt/two)
  3. 配置负载调度器(内网关 ens33:192.168.44.30,外网关 ens36:12.0.0.1)

    • 关闭防火墙和selinux image.png

    1. 配置SNAT转发规则
      • 开启路由转发功能 image.png image.png

    • 添加SNAT image.png

    1. 加载LVS内核模块 image.png

      • 如果要加载所有模块for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done image.png
    2. 安装ipvsadm 管理工具 image.png

    3. 启动服务,启动服务前须保存负载分配策略 image.png

    4. 配置负载分配策略(NAT模式只要在服务器上配置,节点服务器不需要特殊配置) image.png

  4. 客户机访问网关地址(12.0.0.1)测试效果,刷新后能访问到另一节点服务器 image.png

补充内容
ipvsadm -d -t 12.0.0.1:80 -r 192.168.44.40:80				#删除群集中某一节点服务器
ipvsadm -D -t 12.0.0.1:80									#删除整个虚拟服务器
systemctl stop ipvsadm										#停止服务(清空策略)
systemctl start ipvsadm										#启动服务(根据/etc/sysconfig/ipvsadm重建配置)
ipvsadm-restore < /opt/ipvsadm					            #恢复LVS 策略