Haproxy 详解

我和1001个粉丝的故事
158 阅读11分钟

负载均衡的实现

软件

四层：

  • LVS：Linux Virtual Server
  • Nginx：
  • HAProxy：High Availability Proxy

七层:

  • HAProxy
  • Nginx

硬件：

  • F5
  • Netscaler
  • Array
  • 深信服
  • 北京灵州

HAProxy介绍

HAProxy是可提供高可用性、负载均衡以及基于TcP和HTTP应用的代理，是免费、快速并且可靠的一种解决方案。HProxy非常适用于并发大(并发达1w以上) web站点，这些站点通常又需要会话保持或七层处理。HAProxy的运行模式使得它可以很简单安全的整合至当前的架构中，同时可以保护web服务器不被暴露到网络上。

支持功能

  • TCP 和 HTTP反向代理
  • SSL/TSL服务器
  • 可以针对HTTP请求添加cookie，进行路由后端服务器
  • 可平衡负载至后端服务器，并支持持久连接
  • 支持所有主服务器故障切换至备用服务器 keepalive
  • 支持专用端口实现监控服务
  • 支持停止接受新连接请求，而不影响现有连接
  • 可以在双向添加，修改或删除HTTP报文首部字段
  • 响应报文压缩
  • 支持基于pattern实现连接请求的访问控制
  • 通过特定的URI（url）为授权用户提供详细的状态信息

HAProxy负载均衡策略

静态调度算法：不管后端，按照调度器的算法进行 分配

动态调度算法：会考虑后端服务器的负载情况， 直接动态的调整算法 ， 发送指令给进程 ， 直接生效

  1. roundrobin，表示简单的轮询 rr
  2. static-rr，表示根据权重
  3. leastconn，表示最少连接者先处理
  4. source，表示根据请求源IP，
  5. uri，表示根据请求的URI,做cdn需使用;
  6. url param，表示根据请求的URl参数' balance url param’requires an URL parameter name
  7. hdr(name)，表示根据HTTP请求头来锁定每一次HTTP请求;
  8. rdp-cookie (name)，表示根据据cookie(name)来锁定并哈希每一次TCP请求。
  9. randaom 基于hash结果的随机数， 来调度，权重越大越容易被调度

调度算法的 对比：

nginxhaproxylvs
rr（轮询）rrrr
加权轮询static-rrwrr 加权
ip hash最小连接源地址 hash SH
url hashsource 根据源地址目的地址 hash DH
cookie hash根据请求来调度默认 wlc 加权最小连接
fair根据cookie 来调度lc 最小连接
最小连接根据请求头SED初始连接高权重优先
NQ 每个人都有一个链接后 再使用 初始链接高权重

LVS、Nginx、HAproxy的区别:

  1. IVS基于Linux操作系统实现软负载均衡，而HAProxy和Nginx是基于第三方应用实现的软负载均衡;
  2. LVS是可实现4层的IP负载均衡技术，无法实现基于目录、URL的转发。而HAProxy和Nginx都可以实现4层和7层技术，HAProxy可提供TCP和HTTP应用的负载均衡综合解决方案;
  3. LVs因为工作在TCP模型的第四层，其状态监测功能单一，而HAProxy在状态监测方面功能更丰富、强大，可支持端口、URI等多种状态检测方式;
  4. HAProxy功能强大,但整体性能低于4层模式的IVS负载均衡。
  5. Ngrinx主要用于web服务器或缓存服务器。Nginx的upstream模块虽然也支持群集功能，但是对群集节点健康检查功能不强，性能没有Haproxy好。

解决lua环境

HAProxy 支持基于lua实现功能扩展，lua是一种小巧的脚本语言，于1993年由巴西里约热内卢天主教大学（Pontifical Catholic University of Rio de Janeiro）里的一个研究小组开发，其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。

Lua 官网：www.lua.org

Lua 应用场景

  • 游戏开发
  • 独立应用脚本
  • Web 应用脚本
  • 扩展和数据库插件，如MySQL Proxy
  • 安全系统，如入侵检测系统

由于CentOS7 之前版本自带的lua版本比较低并不符合HAProxy要求的lua最低版本(5.3)的要求，因此需要编译安装较新版本的lua环境，然后才能编译安装HAProxy，过程如下：

#当前系统版本
[root@centos7 ~]#lua -v 
Lua 5.1.4 Copyright (C) 1994-2008 Lua.org, PUC-Rio
​
​
https://www.lua.org/ftp/lua-5.4.6.tar.gz
​
curl -R -O http://www.lua.org/ftp/lua-5.4.6.tar.gz
tar zxf lua-5.4.6.tar.gz
cd lua-5.4.6
make all test
cd  src
./lua -v 
​

编译安装 haproxy

yum -y install gcc openssl-devel pcre-devel systemd-devel
#安装依赖环境
​
tar xf haproxy-2.2.11.tar.gz
cd haproxy-2.2.11/
​
#查看安装方法
[root@centos7 haproxy-2.1.3]#ll Makefile 
-rw-rw-r-- 1 root root 40812 Feb 12 23:18 Makefile
[root@centos7 haproxy-2.1.3]#cat README 
[root@centos7 haproxy-2.1.3]#cat INSTALL
​
mkdir /usr/local/lua
cp -r src/   /usr/local/lua/
​
make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1 USE_LUA=1 LUA_INC=/data/lua/src/  LUA_LIB=/data/lua/src/
##z注意版本号
make install PREFIX=/apps/haproxy
 
ln -s /apps/haproxy/sbin/haproxy /usr/sbin/
haproxy  -v
haproxy  -h   查看帮助

##写配置文件
[root@centos7 ~]#vim /usr/lib/systemd/system/haproxy.service
​
tee /usr/lib/systemd/system/haproxy.service  <<eof
​
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target
​
[Service]
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg  -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
LimitNOFILE=100000
​
[Install]
WantedBy=multi-user.target
​
​
eof
​
###############建立文件########################
mkdir /etc/haproxy
vim /etc/haproxy/haproxy.cfg
​
global
maxconn 100000
chroot /apps/haproxy
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin
uid 99
gid 99
daemon
#nbproc 4
#cpu-map 1 0
#cpu-map 2 1
#cpu-map 3 2
#cpu-map 4 3
pidfile /var/lib/haproxy/haproxy.pid
log 127.0.0.1 local3 info
​
defaults
option http-keep-alive
option  forwardfor
maxconn 100000
mode http
timeout connect 300000ms
timeout client  300000ms
timeout server  300000ms
​
listen stats
 mode http
 bind 0.0.0.0:9999
 stats enable
 log global
 stats uri     /haproxy-status
 stats auth    haadmin:123456  ##账号密码
​
listen  web_port
 bind 0.0.0.0:8899
 mode http
 log global
 server web1  127.0.0.1:8080  check inter 3000 fall 2 rise 5
​
​
​
mkdir  /var/lib/haproxy
#pid 文件路径
​
​
#设置用户和目录权限
[root@centos7 ~]# useradd -r -s /sbin/nologin  haproxy
[root@centos7 ~]# systemctl enable --now haproxy

image.png

配置文件详解

global配置

官方文档：http://cbonte.github.io/haproxy-dconv/2.4/configuration.html#3

详细讲解：

chroot #锁定运行目录，类似于  ftp中的禁锢
deamon #以守护进程运行
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin process 1   #socket文件 进程件通信
user, group, uid, gid  #运行haproxy的用户身份
​
​
nbproc   n #开启的haproxy worker 进程数，默认进程数是一个，保持与 淳朴个数相同
#nbthread 1 #和多进程 nbproc配置互斥（版本有关,CentOS8的haproxy1.8无此问题）,指定每个haproxy进程开启的线程数，默认为每个进程一个线程
#如果同时启用nbproc和nbthread 会出现以下日志的错误，无法启动服务
​
Apr  7 14:46:23 haproxy haproxy: [ALERT] 097/144623 (1454) : config : cannot 
enable multiple processes if multiple threads are configured. Please use either 
nbproc or nbthread but not both.
​
​
​
cpu-map 1 0         #绑定haproxy worker 进程至指定CPU，将第1个work进程绑定至0号CPU
cpu-map 2 1         #绑定haproxy worker 进程至指定CPU，将第2个work进程绑定至1号CPU
maxconn n           #每个haproxy进程的最大并发连接数
maxsslconn n        #每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下
maxconnrate n       #每个进程每秒创建的最大连接数量
spread-checks n     #后端server状态check随机提前或延迟百分比时间，建议2-5(20%-50%)之间，默认值0
pidfile             #指定pid文件路径
log 127.0.0.1 local2 info #定义全局的syslog服务器；日志服务器需要开启UDP协议，最多可以定义两个

6.1.1 状态页

listen stats
 mode http
 bind 0.0.0.0:9999
 stats enable
 log global
 stats uri     /haproxy-status
 stats auth    haadmin:123456
​
​
http://192.168.91.100:9999/haproxy-status

6.1.2 指定进程线程个数

进程与线程会有冲突

nbproc     n     #开启的haproxy work 进程数，默认进程数是一个
#nbthread  1    #和多进程 nbproc配置互斥（版本有关,CentOS8的haproxy1.8无此问题）,指定每个haproxy进程开启的线程数，默认为每个进程一个线程
#如果同时启用nbproc和nbthread 会出现以下日志的错误，无法启动服务Apr  714:46:23 haproxy haproxy: [ALERT] 097/144623 (1454) : config : cannot enable multiple processes if multiple threads are configured. Please use either nbproc or nbthread but not both.
​

实际操作：

nbproc     4
nbthread   2 
​
放入全局配置

6.1.3 cpu亲缘性

nbproc 2 cpu-map 1 0   #绑定haproxy worker 进程至指定CPU，将第1个work进程绑定至0号CPU cpu-map 2 1     #绑定haproxy worker 进程至指定CPU，将第2个work进程绑定至1 号CPU

ps axo pid,cmd,psr |grep haproxy

Proxies配置

defaults [<name>] #默认配置项，针对以下的frontend、backend和listen生效，可以多个name也可以没有name
frontend <name>   #前端servername，类似于Nginx的一个虚拟主机 server和LVS服务集群。
backend <name>   #后端服务器组，等于nginx的upstream和LVS中的RS服务器
listen  <name>   #将frontend和backend合并在一起配置，相对于frontend和backend配置更简洁，生产常用

6.2.1 Proxies配置-defaults

defaults 配置参数：

option redispatch               #当server Id对应的服务器挂掉后，强制定向到其他健康的服务器，重新派发
option abortonclose             #当服务器负载很高时，自动结束掉当前队列处理比较久的连接，针对业务情况选择开启
option http-keep-alive          #开启与客户端的会话保持
option forwardfor               #透传客户端真实IP至后端web服务器
mode http|tcp                   #设置默认工作类型,使用TCP服务器性能更好，减少压力
timeout http-keep-alive 120s    #session 会话保持超时时间，此时间段内会转发到相同的后端服务器
timeout connect 120s            #客户端请求从haproxy到后端server最长连接等待时间(TCP连接之前)，默认单位ms
timeout server 600s             #客户端请求从haproxy到后端服务端的请求处理超时时长(TCP连接之后)，默认单位ms，如果超时，会出现502错误，此值建议设置较大些，防止502错误
timeout client 600s             #设置haproxy与客户端的最长非活动时间，默认单位ms，建议和timeout server相同
timeout check   5s              #对后端服务器的默认检测超时时间
default-server inter 1000 weight 3   #指定后端服务器的默认设置

6.2.2Proxies配置-listen 简化配置

使用listen替换 frontend和backend的配置方式，可以简化设置，通常只用于TCP协议的应用

#官网业务访问入口
listen WEB_PORT_80    #业务名称
   bind 10.0.0.7:80   #ip加端口
   mode http          #默认 可以不写
   option forwardfor  #透传客户端真实IP至后端web服务器
   server web1   10.0.0.17:8080   check inter 3000 fall 3 rise 5
   server web2   10.0.0.27:8080   check inter 3000 fall 3 rise 5

例子： 默认无后端健康性检测，

listen  ky26_port_80
 bind 192.168.91.100:80
 mode http
 log global
 server rs1  192.168.91.101:80
 server rs2  192.168.91.102:80

加入健康性检测 check

listen  ky26_port_80
 bind 192.168.91.100:80
 mode http
 log global 
 server rs1  192.168.91.101:80  check
 server rs2  192.168.91.102:80  check
​
​
#
tcpdump  -i  ens33 -nn port 80

6.2.3 Proxies配置-frontend

frontend 配置参数：

bind： #指定HAProxy的监听地址，可以是IPV4或IPV6，可以同时监听多个IP或端口，可同时用于listen字段中
​
#格式：
bind [<address>]:<port_range> [, ...] [param*]
#注意：如果需要绑定在非本机的IP，需要开启内核参数：net.ipv4.ip_nonlocal_bind=1
​
​
backlog <backlog> #针对所有server配置,当前端服务器的连接数达到上限后的后援队列长度，注意：不支持backend

server 配置

#针对一个server配置
check #对指定real进行健康状态检查，如果不加此设置，默认不开启检查,只有check后面没有其它配置也可以启用检查功能
 #默认对相应的后端服务器IP和端口,利用TCP连接进行周期性健康性检查,注意必须指定端口才能实现健康性检查
 addr <IP>   #可指定的健康状态监测IP，可以是专门的数据网段，减少业务网络的流量
 port <num> #指定的健康状态监测端口
 inter <num> #健康状态检查间隔时间，默认2000 ms
 fall <num>   #后端服务器从线上转为线下的检查的连续失效次数，默认为3
 rise <num>   #后端服务器从下线恢复上线的检查的连续有效次数，默认为2
weight <weight> #默认为1，最大值为256，0(状态为蓝色)表示不参与负载均衡，但仍接受持久连接
backup #将后端服务器标记为备份状态,只在所有非备份主机down机时提供服务，类似Sorry Server
disabled #将后端服务器标记为不可用状态，即维护状态，除了持久模式，将不再接受连接,状态为深黄色,优雅下线,不再接受新用户的请求
redirect prefix http://www.baidu.com/ #将请求临时(302)重定向至其它URL，只适用于http模式
redir http://www.baidu.com       #将请求临时(302)重定向至其它URL，只适用于http模式
maxconn <maxconn> #当前后端server的最大并发连接数
avatar
文章
阅读
粉丝