一、企业群集应用概述

1.1 群集的含义

Cluster，集群、群集
由多台主机构成，但对外只表现为一个整体，只提供一个访问入口，相当于一台大型计算机。

1.2 互联网如今面临的问题和常用解决办法

互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器已经无法满足负载均衡及高可用的要求

通常企业有两种解决方法：

纵向扩展：对于服务器的cpu、内存、硬盘等硬件进行升级或扩容来实现的（硬件性能上限会有瓶颈，成本昂贵，收效比不高，
横向扩展：通过增加服务器主机数量来实现高并发的场景
- 通过整合多台服务器，使用LVS来达到服务器的高可用和负载均衡，并以同一IP地址对外提供相同的服务。（在企业中常用的一种群集技术--LVS（Linux Virtual Server，Linux虚拟服务器）

1.3 企业群集分类

根据群集所针对的目标差异，可分为三种类型：
- 负载均衡群集
- 高可用群集
- 高性能运算群集

① 负载均衡群集

提高应用系统的响应能力，尽可能处理更多的访问请求、以减少延迟为目标，获得高并发、高负载（LB）的整体性能
LB的负载分配依赖于主节点的分流算法，将来自客户机的访问请求分担给多个服务器节点，从而缓解整个系统的负载压力。例如：“DNS轮询”、“反向代理”等

② 高可用群集（High Availability Cluster）

提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果
HA的工作方式包括双工和主从两种模式，双工即所有节点同时在线；主从则只有主节点在线，但当出现故障时从节点能自动切换为主节点。比如：“故障切换”、“双机热备”等。

③ 高性能运算群集（High Performance Computer Cluster）

以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力
高性能依赖于“分布式运算”、“并行计算”，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。比如：“云计算”、“网络计算”等

二、负载均衡群集架构

2.1 负载均衡的结构

第一层：负载调度器（Load Balancer 或 Director ）

访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP地址（虚拟IP），也称为群集IP地址。通常会配置主、备两台调度器实现热备份，当主调度是西奥以后能够平滑替换至备用调度器，确保高可用性。

第二层：服务器池（Server Pool）

群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址（真实IP），只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。

第三层：共享存储（Share Storage）

为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性。共享存储可以使用NAS设备，或者提供NFS共享服务的专用服务器。

图中NAS存储设备或者NAS+NFS服务器将需要的数据共享给上层服务器地址池中的节点服务器，其中存储设备也需要进行主备的配置，防止其中一台存储设备故障，导致数据传输的断开
处理用户请求由服务器池中的节点服务器去处理，而主备调度器主要负责接收用户的请求，并通过相关算法，将数据转发给节点服务器
节点服务器处理完数据后，返回给调度服务器，最后返回用户本地

2.2 负载均衡群集工作模式分析

负载均衡群集是目前企业用的最多的群集类型
群集的负载调度技术一共有三种工作模式
- 地址转换（NAT模式）
- IP隧道（TUN模式）
- 直接路由（DR直连）

① NAT模式

地址转换
- Network Address Translation，简称NAT模式
- 类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口
- 服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式
NAT模式数据流向

客户机的请求数据访问负载调度器后，负载调度器与节点服务器在同一个局域网内，负载调度器将请求数据的公网地址转换成私网地址，传输给节点服务器；节点服务器收到数据后发出的响应数据会发给负载调度器，负载调度器收到响应数据后，再将响应数据的私网地址转换成公网地址，转发回客户机。因此NAT模式下负载调度器承受了双向的流量压力。

PS：由于数据的吞吐都经由负载调度器，因此访问性能将削弱一半，因此尽管拥有最高的安全性，但使用该模式的很少。

② TUN模式

IP隧道
- IP Tunnel，简称TUN模式
- 采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的internet连接直接回应客户机，而不再经过负载调度器
- 服务器节点分散在互联网中的不同位置，具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信
TUN模式数据流向

首先，每一个节点服务器都分布在公网中的不同位置，拥有独立的公网IP，请求数据包在经过负载调度器转发后，节点服务器的响应数据包会通过IP隧道进行数据的封装与解封装过程，直接发送给客户机。

③ DR模式

直接路由
- Direct Routing，简称DR模式
- 采用半开放式的网络接口，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网
- 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道
DR模式数据流向

数据从客户机发出，流经路由器，路由器进行策略的路由转发，将数据转发到负载调度器上，负载调度器通过本地网络将数据转交给对应的节点服务器，服务器接收到数据包后，将不会将响应数据交给负载调度器，而是将数据包进行解析其中的信息，将响应数据通过解析出的对应地址，直接交给路由，最后回到客户机。

三、LVS虚拟服务器

3.1 LVS概述

Linux Virtual Server
- 针对Linux内核开发的负载均衡解决方案
- 1998年5月，由我国的章文嵩博士创建
- 官方网站：www.linuxvirtualserver.org/
- LVS实际上相当于基于IP地址的虚拟化应用，为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法

3.2 ip_vs模块

LVS现在已成为Linux内核的一部分，默认编译为ip_vs模块，必要时能够自动调用。在Centos 7 系统中，以下操作可以手动加载ip_vs模块，并查看当前系统中ip_vs模块的版本信息。
```
  modprobe ip_vs        #加载ip_vs模块
  cat /proc/net/ip_vs   #查看当前ip_vs版本号，如果能查看到内容，代表模块已加载
  
```

3.3 LVS的负载调度算法

① 轮询（Round Robin）

将收到的访问请求按照顺序轮流分配给群集中的各节点（真实服务器），均等地对待每一台服务器，而不管服务器实际的连接数和系统负载

② 加权轮询（Weighted Round Robin）

根据调度设置的权重值来发请求，权重值高的节点优先获得任务，分配的请求数越多
保证性能强的服务器承担更多的访问流量

③ 最少连接（Least Connections）

根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点

④ 加权最少连接（Weighted Least Connections）

在服务器节点的性能差异较大时，可以为真实服务器自动调整权重
性能较高的节点将承担更大比例的活动连接负载

⑤ LVS调度器的其他常见算法（均衡策略）

LVS调度常用的调度方法基本分为以下两类：

固定调度算法：rr，wrr,dh,sh
- rr：轮询算法；将请求依次分配给不同的RS（真实服务器即节点服务器）节点，即RS节点中均摊分配。适合于RS所有节点处理性能接近的情况。
- wrr：加权轮询调度；依据不同RS的权值分配任务。权值较高的RS将优先获得任务，并且分配到的连接数将比权值低的RS更多。相同权值的RS得到相同数目的连接数。
- dh：目的地址哈希调度（destination hashing）以目的地址为关键字查找一个静态hash表来获得所需RS。
- sh：源地址哈希调度（source hashing）以源地址为关键字查找一个静态hash表来获得需要的RS。
动态调度算法：wlc，lc，lblc
- wlc：加权最小连接数调度；假设各台RS的权值以此为Wi，当前tcp连接数一次为Ti，一次去Ti/Wi为最小的RS作为下一个分配的RS。
- lc：最小连接数调度（least-connection）；IPVS表存储了所有活动的连接。LB（负载调度器）会进行比较，将连接请求发送到当前连接最少的RS。
- lblc：基于地址的最小连接数调度（locality-based;least-connection）；将来自同一目的地址的请求分配给同一台RS，此时这台服务器已经满负荷，就将这个请求分配给连接数最小的RS，并以它作为下一次分配的首先考虑。

四、如何使用ipvsadm管理工具以及搭建NAT模式

4.1 ipvsadm工具选项及说明

选项	说明
-A	添加虚拟服务器
-D	删除整个虚拟服务器
-s	指定负载调度算法（轮询、rr、加权轮询、wrr、最少连接、lc、加权最少连接、wlc）
-a	表示添加真实服务器（节点服务器）
-d	删除某一个节点
-t	指定VIP地址及TCP端口
-r	指定RIP地址及TCP端口
-m	表示使用NAT群集模式
-g	表示使用DR模式
-i	表示使用TUN模式
-w	设置权重（权重为0时表示暂停节点）
-p n	表示保持长连接n秒
-l	列表查看LVS虚拟服务器（默认为查看所有）
-n	以数字形式显示地址、端口等信息，常与“-l”选项组合使用

4.2 如何搭建NAT模式

如上图所示，我们的负载调度器起到了接收与转发的作用，所以要配置双网卡进行数据的访问与转发。

① 配置节点服务器

systemctl stop firewalld.service
systemctl disable firewalld.service    #关闭并关闭开机自启防火墙
setenforce 0                           #关闭selinux
yum install -y httpd                   #安装httpd网页服务
systemctl start httpd.service         
systemctl enable httpd.service         #开启并开启开机自启动httpd服务

② 配置NFS服务器

rpm -q nfs-utils rpcbind
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

在/opt/nfs目录下创建两个test1 test2两个目录分别放入两个同名文件index.html作为共享文件
节点服务器1，2分别创建/var/www/html目录作为作为共享目录挂载点

vim /etc/exports
/opt/nfs 192.168.142.0/24(rw,no_root_sqush,sync)
#设置将目录/opt/nfs共享给192.168.142.0网段的节点服务器，权限设置为可读可写;当客户机以*root*身份访问时赋予本地root权限;存储文件时直接在内存和硬盘中进行写入
/opt/nfs/test1 192.168.142.0/24(rw,no_root_squash,sync)
/opt/nfs/test2 192.168.142.0/24(rw,no_root_squash,sync)


配置完成后启动在线共享：
exportfs -rv

nfs服务器/etc/exports配置如下：

③ 节点服务器挂载设置

节点服务器1：
vim /etc/fstab
#在末行加入以下内容
192.168.142.70:/opt/nfs/test1 /var/www/html           nfs     defaults,_netdev 0 0

节点服务器2：
vim /etc/fstab
#在末行加入以下内容
192.168.142.70:/opt/nfs/test2 /var/www/html           nfs     defaults,_netdev 0 0

④ 负载调度器配置

首先，添加物理双网卡
并配置双网卡内容

ens33配置内容:

ens35配置内容：

配置后重启网卡服务：

配置完成后，配置节点服务器1，2的网关为负载调度器的IP地址，否则无法正常通信

开启路由转发功能：

vim /etc/sysctl.conf
#末行添加
net.ipv4.ip_forward = 1   #路由转发功能
sysctl -p                 #开启路由转发

配置SNAT

#清除已有规则
iptables -F && iptables -t nat -F
#配置SNAT
iptables -t nat -A POSTROUTING -s 192.168.142.0/24 -o ens35 -j SNAT --to 12.0.0.1

配置LVS

yum install -y ipvsadm #下载ipvsadm工具
modprobe ip_vs         #加载ip_vs通用模块
cat /proc/net/ip_vs    #查看当前系统中ip_vs模块的版本信息
ipvsadm-save > /etc/sysconfig/ipvsadm
#重定向输出创建ipvsadm这个文件，没有该文件，该工具无法被启动
systemctl start ipvsadm  #启动ipvsadm工具
systemctl enable ipvsadm #设置开机自启

配置ipvsadm
ipvsadm -A -t 12.0.0.1:80 -s rr -p 1
-A                 #创建虚拟服务器
-t 12.0.0.1:80     #添加VIP地址
-s rr              #指定rr算法
-p 1               #设置长连接（设置长连接不能为0）

添加节点服务器1
ipvsadm -a -t 12.0.0.1:80 -r 192.168.142.50:80 -m -w 1
-a                    #添加节点服务器
-t 12.0.0.1:80        #添加VIP地址
-r 192.168.142.50:80  #指定RIP地址（LVS是基于IP地址的负载均衡，所以端口不能改变）
-m                    #指定调度模式，模式为NAT
-w 1                  #配置权重为1，默认为1，可不用输入

添加节点服务器2
ipvsadm -a -t 12.0.0.1:80 -r 192.168.142.60:80 -m -w 1

#以上均在负载调度器服务器上配置

ipvsadm             #激活当前配置
ipvsadm -ln         #查看当前配置

配置完成后验证

我们关闭节点服务器2进行验证是否能做到负载均衡

简述LVS负载均衡群集以及NAT模式的配置