LVS负载均衡--NAT模式

综合频道
311 阅读16分钟

前言

LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。

  • 技术简介

LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器fromModule=lemma_inlink)。整个服务器集群fromModule=lemma_inlink)的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。

群集

  • Cluster，集群、群集
  • 由多台主机构成，但对外只表现为一一个整体，只提供一-个访问入口(域名或IP地址)， 相当于一台大型计算机。

Snipaste_2022-10-15_15-25-20.png

使用群集的原因

问题：

互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器已经无法满足负载均衡及高可用的要求。

解决方法：

  • 使用价格昂贵的小型机、大型机。（纵向扩容）
  • 使用多台相对廉价的普通服务器构建服务群集。（横向扩容）

LVS群集技术：

  • 在企业中常用的一种群集技术一LVS （Linux Virtual Server, Linux虚拟服务器）
  • 通过整合多台服务器，使用LVS来达到服务器的高可用和负载均衡，并以同一个IP地址对外提供相同的服务。

群集的目的

  • 提高性能：计算密集应用。如天气预报，核试验模拟。
  • 降低成本：相对百万美元的超级计算机，价格便宜。
  • 提高可扩展性：只要增加集群节点即可。
  • 增强可靠性：多个节点完成相同功能，避免单点失败。

负载均衡集群架构：
负载调度器：通过VTP接受用户的请求，再通过调度算法确定要转发的节点服务器；服务器池中的节点服务器：通过接受RIP接受调度器转发来的请求，并处理请求进行相应；共享存储：为各个节点服务器提供稳定、一致的文件存储服务，比如服务器+NFS，分布式对象存储等存储设备。

一般来说，LVS集群采用三层结构，其主要组成部分为：

  1. 负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的。
    访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP地址，也称为群集IP地址。通常会配置主、备两台调度器实现热备份，当主调度失效以后能够平滑替换至备用调度器，确保高可用性。

  2. 服务器池（server pool），是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。
    群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址（真实IP），只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。

  3. 共享存储（shared storage），它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。\ 为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性。共享存储可以使用NAS设备，或者提供NFS共享服务的专用服务器。

LVS优点
1、开源，免费
2、在网上能找到一些相关技术资源
3、具有软件负载均衡的一些优点
缺点
1、最核心的就是没有可靠的支持服务，没有人对其结果负责；
2、功能比较简单，支持复杂应用的负载均衡能力较差，如算法较少等；
3、开启隧道方式需重编译内核；
4、配置复杂；
5、主要应用于LINUX，没有专门用于WINDOWS的版本，不过可以通过配置，使windows成为LVS集群中的real server（win2003、win2008中）。

lvs负载均衡集群的类型

lvs负载均衡集群的类型有：1、负载均衡群集(LB)，能够提高应用系统的响应能力；2、高可用群集(HA)，能够提高应用系统的可靠性；3、高性能运算群集(HPC)，能够提高应用系统的 CPU 运算速度、扩展硬件资源和分析能力。

具体内容如下：
1、负载均衡群集：Load Balance Cluster
以提高应用系统的响应能力，尽可能处理更多的访问请求、减少延迟为目标，从而获得高并发、高负载的整体性能。
提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标，获得高并发、负载(LB)的整体性能；
LB的负载分配依赖于主节点的分流算法，将来自客户机的访问请求分担给多个服务器节点，从而缓解整个系统的负载压力。例如，“DNS轮询”、“反向代理” 等。

2、高可用群集：High Availability Cluster
以提高应用系统的可靠性，尽可能的减少终端时间为目标、确保服务的连续性，达到高可用的容错效果。
提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用(HA) 的容错效果。
HA的工作方式包括双工和主从两种模式，双工即所有节点同时在线；主从则只有主节点在线，但当出现故障时从节点能自动切换为主节点。例如，“故障切换” 、“双机热备” 等。

3、高性能运算群集：High Performance Computer Cluster
以提高应用系统的 CPU 运算速度、扩展硬件资源和分析能力为目标、从而获得相当于大型、超级计算机的高性能计算能力。
以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力。
高性能依赖于"分布式运算”、 “并行计算”，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。例如，'云计算”、 “网格计算”等。

负载均衡群集是目前企业用得最多的群集类型

LVS工作模式及其工作过程

群集的三种负载调度技术有三种工作模式地址转换（NAT模式）、IP隧道（IP-TUN）、直接路由（DR）。

Snipaste_2022-10-15_16-24-43.png

NAT模式 :地址转换

Snipaste_2022-10-15_16-28-16.png

NAT模式类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口
服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式.

原理：就是把客户端发来的数据包的IP头的目的地址，在负载均衡器上换成其中一台RS的IP地址 并发至此RS来处理，RS处理完后把数据交给负载均衡器,负载均衡器再把数据包原IP地址改为自己的IP，将目的地址改为客户端IP地址即可期间，无论是进来的流量，还是出去的流量，都必须经过负载均衡器

优点：集群中的物理服务器可以使用任何支持TCP/IP操作系统，只有负载均衡器需要一个合法的IP地址；
缺点：扩展性有限。当服务器节点（普通PC服务器）增长过多时,负载均衡器将成为整个系统的瓶颈 因为所有的请求包和应答包的流向都经过负载均衡器。当服务器节点过多时，大量的数据包都交汇在负载均衡器那，速度就会变慢！

TUN模式 :IP隧道

Snipaste_2022-10-15_16-28-07.png IP Tunnel，简称TUN模式
采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器
服务器节点分散在互联网中的不同位置，具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信

原理：首先要知道，互联网上的大多Internet服务的请求包很短小，而应答包通常很大那么隧道模式就是，把客户端发来的数据包，封装一个新的IP头标记(仅目的IP)发给RS，RS收到后，先把数据包的头解开,还原数据包,处理后,直接返回给客户端,不需要再经过负载均衡器。注意,由于RS需要对负载均衡器发过来的数据包进行还原,所以说必须支持IPTUNNEL协议，所以,在RS的内核中,必须编译支持IPTUNNEL这个选项

优点：负载均衡器只负责将请求包分发给后端节点服务器，而RS将应答包直接发给用户。所以，减少了负载均衡器的大量数据流动，负载均衡器不再是系统的瓶颈，就能处理很巨大的请求量。这种方式，一台负载均衡器能够为很多RS进行分发。而且跑在公网上就能进行不同地域的分发。
缺点：隧道模式的RS节点需要合法IP，这种方式需要所有的服务器支持”IP Tunneling”(IP Encapsulation)协议，服务器可能只局限在部分Linux系统上。

DR模式 :直接路由

Snipaste_2022-10-15_16-28-26.png Direct Routing ，简称DR模式
采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

原理：负载均衡器和RS都使用同一个IP对外服务，但只有DR对ARP请求进行响应。所有RS对本身这个IP的ARP请求保持静默也就是说，网关会把对这个服务IP的请求全部定向给DR，而DR收到数据包后根据调度算法，找出对应的RS，把目的MAC地址改为RS的MAC（因为IP一致），并将请求分发给这台RS这时RS收到这个数据包。处理完成之后，由于IP一致，可以直接将数据返给客户，则等于直接从客户端收到这个数据包无异,处理后直接返回给客户端，由于负载均衡器要对二层包头进行改换,所以负载均衡器和RS之间必须在一个广播域也可以简单的理解为在同一台交换机上

优点：和TUN（隧道模式）一样，负载均衡器也只是分发请求，应答包通过单独的路由方法返回给客户端与VS-TUN相比，VS-DR这种实现方式不需要隧道结构，因此可以使用大多数操作系统做为物理服务器。
缺点：（不能说缺点，只能说是不足）要求负载均衡器的网卡必须与物理网卡在一个物理段上。

DS：Director Server。指的是前端负载均衡器。
RS：Real Server。节点服务器，后端真实的工作服务器。
VIP：向外部直接面向用户请求，作为用户请求的目标的IP地址。
DIP：Director Server IP，主要用于和内部主机通讯的IP地址。
RIP：Real Server IP，后端服务器的IP地址。
CIP：Client IP，访问客户端的IP地址。

LVS的负载调度算法

固定调度算法：rr, wrr， dh，sh

rr：轮询算法（Round Robin）

  • 将请求依次分配给不同的RS节点，即RS节点中均摊分配。适合于RS所有节点处理性能接近的情况。
  • 将收到的访问请求安装顺序轮流分配给群集指定各节点（真实服务器），均等地对待每一台服务器，而不管服务器实际的连接数和系统负载。

wrr：加权轮询调度（Weighted Round Robin）

  • 依据不同RS的权重值分配任务。权重值较高的RS将优先获得任务，并且分配到的连接数将比权值低的RS更多。相同权值的RS得到相同数目的连接数。
  • 保证性能强的服务器承担更多的访问流量。

dh：目的地址哈希调度（destination hashing）

  • 以目的地址为关键字查找一个静态hash表来获得所需RS。

sh：源地址哈希调度（source hashing）

  • 以源地址为关键字查找--个静态hash表来获得需要的RS。

动态调度算法： wlc，lc，1blc

lc：最小连接数调度（ Least Connections）

  • ipvs表存储了所有活动的连接。LB会比较将连接请求发送到当前连接最少的RS。
  • 根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点。

wlc：加权最小连接数调度（Weighted Least Connections）

  • 假设各台RS的权值依次为Wi，当前tcp连接数依次为Ti，依次取Ti/Wi为最小的RS作为下一个分配的RS。
  • 在服务器节点的性能差异较大时，可以为真实服务器自动调整权重。
  • 性能较高的节点将承担更大比例的活动连接负载。

lblc：基于地址的最小连接数调度(locality-based least-connection)

  • 将来自同一个目的地址的请求分配给同一-台RS，此时这台服务器是尚未满负荷的。否则就将这个请求分配给连接数最小的RS，并以它作为下一次分配的首先考虑。

LVS-NAT搭建部署

Snipaste_2022-10-15_15-24-41.png

LVS现在已成为 Linux 内核的一部分，默认编译为 ip_vs 模块，必要时能够自动调动。
在CentOS 7 系统中，手动加载 ip_vs 模块的命令如下：

 modprobe ip_vs     //手动加载 ip_vs 模块
 cat /proc/net/ip_vs    //查看当前系统中ip_vs模块的版本信息

Snipaste_2022-10-15_16-36-28.png

加载 LVS 所有的负载调度算法

LVS负载均衡调度算法所在文件路径
/usr/lib/modules/3.10.0-693.el7.x86_64/kernel/net/netfilter/ipvs

Snipaste_2022-10-15_16-47-29.png

ipvsadm工具

从2.4版本开始，linux内核默认支持LVS，要使用LVS的能力，只需安装一个LVS的管理工具ipvsadm。

LVS的结构主要分为两部分：工作在内核空间的IPVS模块【LVS的能力实际上都是由IPVS模块实现】和工作在用户空间的ipvsadm管理工具【其作用是向用户提供一个命令接口，用于将配置的虚拟服务、真实服务等传给IPVS模块】。

ipvsadm是ipvs的管理器，需要yum安装。

LVS群集创建与管理用于：

  • 创建虚拟服务器
  • 添加、删除服务器节点
  • 查看群集及节点情况
  • 保存负载分配策略

ipvsadm 命令选项说明：

选项功能
-A添加虚拟服务器
-D删除整个虚拟服务器
-s指定负载调度算法(轮询: rr、加权轮询: wrr、 最少连接: lc、 加权最少连接: wlc)
-a表示添加真实服务器(节点服务器)
-t指定VIP地址及TCP端口 （调度器使用）
-r指定RIP地址及TCP端口 （节点服务器使用）
-m表示使用NAT群集模式
-g表示使用DR模式
-i表示使用TUN模式
-w设置权重（权重为0时表示暂停节点） ，默认值为1
-p 60表示保持长连接60秒。默认值就是60秒。
-l列表查看LVS虚拟服务器（默认为查看所有）
-n以数字形式显示地址、端口等信息，常与“-l”选项组合使用。-l需要在-n之前。ipvsadm -ln

部署LVS-NAT

LVS调度器作为Web服务器池的网关，LVS两块网卡，分别连接内外网，使用轮询（rr）调度算法。

NAT模式 LVS负载均衡群集部署实验环境
负载调度器：内网关 ens33：192.168.142.10，外网关 ens36：12.0.0.1
Web节点服务器1：192.168.142.20
Web节点服务器2：192.168.142.30
NFS服务器：192.168.142.40
客户端：12.0.0.12

1.部署共享存储（NFS服务器：192.168.142.30）

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

yum install nfs-utils rpcbind -y
systemctl start rpcbind.service
systemctl start nfs.service

systemctl enable nfs.service
systemctl enable rpcbind.service

mkdir /opt/abc /opt/cba
chmod 777 /opt/abc /opt/cba
echo 'this is abc web!' > /opt/abc/index.html
echo 'this is cba web!' > /opt/cba/index.html

vim /etc/exports
/usr/share *(ro,sync)
/opt/abc 192.168.142.0/24(rw,sync)
/opt/cba 192.168.142.0/24(rw,sync)

--发布共享---
exportfs -rv

Snipaste_2022-10-16_16-10-37.png

2.配置节点服务器（192.168.142.20、192.168.142.30）

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

yum install httpd -y
systemctl start httpd.service
systemctl enable httpd.service

yum install nfs-utils rpcbind -y
showmount -e 192.168.142.40

systemctl start rpcbind
systemctl enable rpcbind

#web1主机192.168.142.20配置挂载
mount.nfs 192.168.142.40:/opt/abc /var/www/html

vim /etc/fstab
192.168.142.40:/opt/abc	/var/www/html	nfs		defaults,_netdev	0  0

#web2主机192.168.142.30配置挂载
mount.nfs 192.168.142.40:/opt/cba /var/www/html
echo 'this is cba web!' > /var/www/html/index.html

vim /etc/fstab
192.168.142.40:/opt/cba	/var/www/html	nfs 	defaults,_netdev	0  0

Snipaste_2022-10-16_16-04-04.png Snipaste_2022-10-16_16-07-55.png

Snipaste_2022-10-16_16-08-25.png

Snipaste_2022-10-16_16-09-01.png

3.配置负载调度器（内网关 ens33：192.168.142.10，外网关 ens36：12.0.0.1）

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

1. 配置SNAT转发规则
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1

或 echo '1' > /proc/sys/net/ipv4/ip_forward
sysctl -p

iptables -t nat -F
iptables -F
iptables -t nat -A POSTROUTING -s 192.168.142.0/24 -o ens36 -j SNAT --to-source 12.0.0.1

2. 加载LVS内核模块
modprobe ip_vs					#加载 ip_vs模块
cat /proc/net/ip_vs				#查看 ip_vs版本信息

for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

3. 安装ipvsadm 管理工具
yum -y install ipvsadm

--启动服务前须保存负载分配策略---
ipvsadm-save > /etc/sysconfig/ipvsadm
或者 ipvsadm --save > /etc/sysconfig/ipvsadm

systemctl start ipvsadm.service

4. 配置负载分配策略（NAT模式只要在服务器上配置，节点服务器不需要特殊配置）
ipvsadm -C 					#清除原有策略
ipvsadm -A -t 12.0.0.1:80 -s rr [-p 60]
ipvsadm -a -t 12.0.0.1:80 -r 192.168.142.20:80 -m [-w 1]
ipvsadm -a -t 12.0.0.1:80 -r 192.168.142.30:80 -m [-w 1]
ipvsadm						#启用策略

ipvsadm -ln					#查看节点状态，Masq代表 NAT模式
ipvsadm-save > /opt/ipvsadm						#保存策略
ipvsadm-save > /etc/sysconfig/ipvsadm

Snipaste_2022-10-16_16-18-03.png Snipaste_2022-10-16_16-23-36.png

ipvsadm策略删除与恢复

ipvsadm -d -t 12.0.0.1:80 -r 192.168.142.20:80	   #删除群集中某一节点服务器
ipvsadm -D -t 12.0.0.1:80                  #删除整个虚拟服务器
systemctl stop ipvsadm                     #停止服务（清空策略）
systemctl start ipvsadm                    #启动服务（根据/etc/sysconfig/ipvsadm重建配置）
ipvsadm-restore < /opt/ipvsadm		   #恢复LVS 策略

Snipaste_2022-10-16_16-48-49.png

4.测试

在一台IP为12.0.0.12的客户机使用浏览器访问 http://12.0.0.1/ ，不断刷新浏览器测试负载均衡效果，刷新间隔需长点（或者关闭Web服务的连接保持）。

Snipaste_2022-10-16_16-37-34.png Snipaste_2022-10-16_16-38-14.png

avatar
文章
阅读
粉丝