LVS负载均衡群集

风中的胡杨啊
66 阅读11分钟

一.群集

1.什么是群集？

  • 由多台主机构成，但对外只表现为一一个整体，只提供一-个访问入口(域名或IP地址)， 相当于一台大型计算机。

2.群集的目的

  • 提高性能：计算密集应用。如天气预报，核试验模拟。
  • 降低成本：相对百万美元的超级计算机，价格便宜。
  • 提高可扩展性：只要增加集群节点即可。
  • 增强可靠性：多个节点完成相同功能，避免单点失败。

3.群集分类

  • 负载均衡群集
  • 高可用群集
  • 高性能运算群集

3.1负载均衡群集（Load Balance Cluster）

  • 提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标，获得高并发、负载(LB)的整体性能；
  • LB的负载分配依赖于主节点的分流算法，将来自客户机的访问请求分担给多个服务器节点，从而缓解整个系统的负载压力。例如，“DNS轮询”、“反向代理” 等。

3.2 高可用群集（High Availability Cluster）

  • 提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用(HA) 的容错效果。

  • HA的工作方式包括双工和主从两种模式，双工即所有节点同时在线；主从则只有主节点在线，但当出现故障时从节点能自动切换为主节点。例如，“故障切换” 、“双机热备” 等。

3.2高性能运算群集（High Performance Computer Cluster）

  • 以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力。

  • 高性能依赖于"分布式运算”、 “并行计算”，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。例如，'云计算”、 “网格计算”等。

二.负载均衡群集

1.负载均衡群集架构

1.1第一层，负载调度器(Load Balancer或Director)  负载均衡层

访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP地址，也称为群集 IP地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑 替换至备用调度器，确保高可用性。

1.2第二层，服务器池(Server Pool)  WEB应用层

群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址(真 实IP)，只处理调度器分发过来的客户机请求。

当某个节点暂时失效时，负载调度 器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。

1.3第三层，共享存储(Share Storage)  确保多台服务器使用的是相同的资源

为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性 共享存储可以使用NAS设备，或者提供NFS共享服务的专用服务器。

（因为节点服务器的资源都是由NAS或NFS提供，所以NAS或NFS需要做主备、或分布式，从而实现高可用。）

2.负载均衡群集的工作模式

负载均衡群集是目前企业用得最多的群集类型。

群集的负载调度技术有三种工作模式：

  • 1、地址转换（NAT模式）
  • 2、IP隧道（IP-TUN）
  • 3、直接路由（DR模式）

通常使用 NAT和DR，使用最多的是DR模式。

2.1 NAT模式（地址转换）

  • Network Address Translation，简称NAT模式

  • 类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机 的访问入口，也是各节点回应客户机的访问出口。

  • 服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两 种方式。

  • 缺点：由于NAT的负载均衡器既作为用户的访问请求入口，也作为节点服务器响应请求的出口，承载两个方向的压力，调度器的性能会成为整个集群的瓶颈。

2.2 TUN模式（IP隧道）

  • IP Tunnel ，简称TUN模式。

  • 采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器。承载的压力比NAT小。

  • 服务器节点分散在互联网中的不同位置，具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信。

  • 缺点：成本很高。

  • 这种模式一般应用于特殊场景，比如将节点服务器分布在全国各地，防止被物理攻击（如地震、战争等），做灾备。

2.3 DR模式（直接路由）

  • Direct Routing，简称DR模式。

  • 采用半开放式的网络结构，与TUN模式的结构类似，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器。承载的压力比NAT小。

  • 但各节点并不是分散在各地，而是与调度器位于同一个物理网络。

  • 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道。

三.LVS虚拟服务器

Linux Virtual Server：

3.1 LVS相关术语

DS：Director Server。指的是前端负载均衡器。

RS：Real Server。节点服务器，后端真实的工作服务器。

VIP：向外部直接面向用户请求，作为用户请求的目标的IP地址。

DIP：Director Server IP，主要用于和内部主机通讯的IP地址。

RIP：Real Server IP，后端服务器的IP地址。

CIP：Client IP，访问客户端的IP地址。

3.2 LVS的负载调度算法

rr：轮询算法（Round Robin）

  • 将请求依次分配给不同的RS节点，即RS节点中均摊分配。适合于RS所有节点处理性能接近的情况。
  • 将收到的访问请求安装顺序轮流分配给群集指定各节点（真实服务器），均等地对待每一台服务器，而不管服务器实际的连接数和系统负载。

wrr：加权轮询调度（Weighted Round Robin）

  • 依据不同RS的权重值分配任务。权重值较高的RS将优先获得任务，并且分配到的连接数将比权值低的RS更多。相同权值的RS得到相同数目的连接数。
  • 保证性能强的服务器承担更多的访问流量。

dh：目的地址哈希调度（destination hashing）

  • 以目的地址为关键字查找一个静态hash表来获得所需RS。

sh：源地址哈希调度（source hashing）

  • 以源地址为关键字查找--个静态hash表来获得需要的RS。

（2）动态调度算法： wlc，lc，1blc

lc：最小连接数调度（ Least Connections）

  • ipvs表存储了所有活动的连接。LB会比较将连接请求发送到当前连接最少的RS。
  • 根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点。

wlc：加权最小连接数调度（Weighted Least Connections）

  • 假设各台RS的权值依次为Wi，当前tcp连接数依次为Ti，依次取Ti/Wi为最小的RS作为下一个分配的RS。
  • 在服务器节点的性能差异较大时，可以为真实服务器自动调整权重。
  • 性能较高的节点将承担更大比例的活动连接负载。

lblc：基于地址的最小连接数调度(locality-based least-connection)

  • 将来自同一个目的地址的请求分配给同一-台RS，此时这台服务器是尚未满负荷的。否则就将这个请求分配给连接数最小的RS，并以它作为下一次分配的首先考虑。

四. ipvsadm工具

ipvsadm是一个工具，同时它也是一条命令，用于管理LVS的策略规则。

ipvsadm是ipvs的管理器，需要yum安装。

ipvsadm工具的作用：

LVS群集创建与管理：

  • 创建虚拟服务器
  • 添加、删除服务器节点
  • 查看群集及节点情况
  • 保存负载分配策略

微信截图_20230918185021.png

五. LVS-DR 工作原理

1.LVS-DR数据包流向分析

（1）客户端发送请求到Director Server (负载均衡器)，请求的数据报文（源IP是CIP，目标IP是VIP）到达内核空间。

（2）Director Server 和Real Server 在同一个网络中，数据通过二层数据链路层来传输。

（3）内核空间判断数据包的目标IP是本机VIP，此时IPVS（IP虛拟服务器）比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包修改源MAC地址为Director server 的MAC地址，修改目标MAC地址为Real Server 的MAC 地址，源IP 地址与目标IP地址没有改变，然后将数据包发送给Real Server。

（4）到达Real server 的请求报文的MAC地址是自身的MAC地址，就接收此报文。数据包重新封装报文（源IP地址为VIP，目标IP为CIP），将响应报文通过lo接口传送给物理网卡然后向外发出。

（5）Real Server 直接将响应报文传送到客户端。客户端收到回复报文，认为得到正常的服务，而不会知道是哪一台服务器处理的。

注意：如果跨网段，则报文通过路由器经由Internet返回给用户。

2.DR模式的特点

（1）Director Server（调度器） 和 Real Server（节点服务器） 必须在同一个物理网络中。

（2）Real Server可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。

（3）Director Server作为群集的访问入口，但不作为网关使用。

（4）所有的请求报文经由Director Server, 但回复响应报文不能经过Director Server。

（5） Real Server 的网关不允许指向Director Server IP， 即Real Server发送的数据包不允许经过Director Server。（RS的网关地址只能指定真实的路由器网关）

（6） Real Server 上的 lo 接口配置VIP的IP地址。

六.LVS-DR中的ARP问题

1.VIP地址相同导致响应冲突

问题原因：

在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址，在局域网中具有相同的IP地 址，势必会造成各服务器ARP通信的紊乱。

  • 当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会收到ARP广播。
  • 只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。

解决方法：

对节点服务器进行处理，使其不响应针对VIP的ARP请求

  • 使用虚接口lo:0承载VIP地址
  • 设置内核参数 arp_ ignore=1：系统只响应目的IP为本地IP（物理网卡的地址，而不是lo网卡的虚接口地址）的ARP请求。

2.返回报文时源地址使用VIP，导致网关设备的ARP缓存表紊乱

问题原因：

  • RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址。
  • 发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址。
  • 路由器收到ARP请求后，将更新ARP表项。原有的VIP对应Director的MAC地址，会被更新为VIP对应的Real Server的MAC地址。导致网关设备的ARP缓存表紊乱。
  • 路由器根据ARP表项，会将新来的请求报文转发给Real Server，导致Director的VIP失效。

解决方法：

对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP数据包的源地址来设置ARP请求的源地址，而选择发送接口（物理网卡）的IP地址。

3.解决ARP的两个问题的设置方法

修改配置文件vim /etc/sysctl.conf

微信截图_20230918185546.png

注：

NFS服务器配置步骤：

  • 关闭防火墙
  • 安装nfs-utils、rpcbind软件包
  • 新建共享目录，并创建站点文件
  • 修改共享配置文件，设置共享策略
  • 启动两个服务，查看本机的NFS共享信息

节点服务器配置步骤：

  • 关闭防火墙
  • 安装httpd服务
  • 配置 lo:0 虚拟网卡，承载VIP
  • 添加路由 route add
  • 修改内核配置，/etc/sysctl.conf
  • 挂载站点（将NFS服务器的共享目录挂载到httpd的站点目录）

DR负载调度服务器的配置步骤：

  • 关闭防火墙

  • 加载ip_vs模块，安装ipvsadm工具

  • 配置虚拟IP地址（VIP和节点服务器的VIP一致）

  • 调整 proc 响应参数，关闭路由转发功能，/etc/sysctl.conf

  • 配置负载分配策略

avatar
文章
阅读
粉丝