Haproxy集群

88 阅读9分钟

Haproxy简介

Haproxy 是一个使用C语言编写的自由及开放源代码软件,其提供高可用性、负载均衡,以及基于TCP和HTTP的应用程序代理。

Haproxy应用分析

  • LVS在企业应用中抗负载能力很强,但存在不足
  • LVS不支持正则处理,不能实现动静分离
  • 对于大型网站,LVS的实施配置复杂,维护成本相对较高
  • Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理软件
  • 适用于负载大的web站点
  • 运行在硬件上可支持数以万计的并发连接的连接请求

Haproxy的特性

  • 可靠性和稳定性非常好,可以与硬件级的F5负载均衡设备相媲美
  • 最高可以同时维护40000-50000个并发连接,单位时间内处理的最大请求数为20000个,最大处理能力可达10Git/s
  • 支持多达8 种负载均衡算法,同时也支持会话保持
  • 支持虚拟主机功能,从而实现web负载均衡更加灵活
  • 支持连接拒绝、全透明代理等独特功能
  • 拥有强大的ACL支持,用于访问控制
  • 其独特的弹性二叉树数据结构,使数据结构的复杂性上升到了0(1),即数据的查询速度不会随着数据条目的增加而速度有所下降
  • 支持客户端的keepalive功能,减少客户端与haproxy的多次三次握手导致资源量费,让多个请求在一个tcp连接中完成
  • 支持TCP加速,零复制功能,类似于mmap机制
  • 支持响应池(response buffering)
  • 支持RDP协议
  • 基于源的粘性,类似于nginx的ip_hash功能,把来自同一客户端的请求在一定时间内始终调度到上游的同一服务器
  • 更好统计数据接口,其web接口显示后端冀全中各个服务器的接受、发送、拒绝、错误等数据的统计信息
  • 详细的健康状态检测,web接口中有关对上流服务器的健康检测状态,并提供了一定的管理功能
  • 基于流量的健康评估机制
  • 基于http认证
  • 基于命令行的管理接口
  • 日志分析器,可对日志进行分析

常见负载均衡策略

Haproxy支持多种调度算法,最常用的有8种

  • RR(Round Robin) RR算法是最简单最常用的一种算法,即轮询调度

理解举例:有三个节点A、B、C

第一个用户访问会被指派到节点A

第二个用户访问会被指派到节点B

第三个用户访问会被指派到节点C

第四个用户访问继续指派到节点A,轮询分配访问请求实现负载均衡效果

  • LC(Least Connections) 最小连接数算法,根据后端的节点连接数大小动态分配前端请求

理解举例: 有三个节点A、B、C,各节点的连接数分别为A:4 B:5 C:6

第一个用户连接请求,会被指派到A上,连接数变为A:5 B:5 C:6

第二个用户请求会继续分配到A上,连接数变为A:6 B:5 C:6;再有新的请求会分配给B,每次将新的请求指派给连接数最小的客户端

由于实际情况下A、B、C的连接数会动态释放,很难会出现一样连接数的情况

此算法相比较rr算法有很大改进,是米钱用到比较多的一种算法

  • SH(Source Hashing) 基于来源访问调度算法,用于一些有Session会话记录在服务端的场景,可以基于来源的IP、Cookie等做集群调度

理解举例 有三个节点A、B、C,第一个用户第一次访问被指派到了A,第二个用户第一次访问被指派到了B

当第一个用户第二次访问时会被继续指派到A,第二个用户第二次访问时依旧会被指派到B,只要负载均衡器不重启,第一个用户都会被指派到A,第二个用户访问都会被指派到B,实现集群的调度

此调度算法好处是实现会话保持,但某些IP访问量非常大时会引起负载不均衡,部分节点访问量超大,影响业务使用

  • uri 表示根据请求的URI,做cdn需使用

  • url_param 表示根据HTTP请求头来锁定每 一 次HTTP请求。

  • rdp—cookie(name) 表示根据据cookie (name)来锁定并哈希每一次TCP请求。

  • source 表示根据请求的源IP,类似Nginx的IP hash机制。

  • static-rr 表示根据权重,轮询

LVS、Haproxy、Nginx区别

  • LVS基于Linux操作系统实现软负载均衡,而Haproxy和Nginx是基于第三方应用实现的软负载均衡
  • LVS是可实现4层的IP负载均衡技术,无法实现基于目录、URL的转发。而实现Haproxy和Nginx都可以实现4层和7层技术,Haproxy可提供TCP和Http应用的负载均衡综合解决方案
  • LVS因为工作在ISO模型的第四层,其状态监测功能单一,而Haproxy在状态监测方面功能更丰富、强大,可支持端口、URL、脚本等多种状态监测方式
  • Haproxy功能强大,但整体性能低于4层模式的LVS负载均衡
  • Nginx主要用于web服务器或缓存服务器

Haproxy的优点

  • Haproxy也是支持虚拟主机的
  • Haproxy支持8种负载均衡器策略
  • Haproxy的优点能补充nginx的一些缺点,比如支持Session的保持,Cookie的引导,同时支持通过获取指定url来检测后端服务器的状态
  • Haproxy跟LVS类似,本身就只是一款负载均衡软件,单纯从效率上来讲Haproxy会比Nginx有更出色的负载均衡速度,在并发处理上也是优于Nginx的
  • Haproxy支持TCP协议的负载均衡转发

常见的Web集群调度器

  • 目前常见的Web集群调度器分为软件和硬件
  • 软件通常使用开源的LVS、Haproxy、Nginx
  • 硬件一般使用比较多的是F5,也有很多人使用国内的一些产品,如梭子鱼、绿盟等

Haproxy集群的部署

Nginx服务器(首先布置两个nginx节点服务器)

nginx服务器1

image.png

image.png

nginx服务器2

image.png

image.png

部署haproxy服务器

image.png

image.png

image.png

image.png

image.png

image.png

vim haproxy.cfg
global		#全局配置,主要用于定义全局参数,属于进程级的配置,通常和操作系统配置有关
    #将info(及以上)的日志发送到rsyslog的local0接口,将warning(及以上)的日志发送到rsyslog的local1接口
    log 127.0.0.1 local0 info
    log 127.0.0.1 local1 warning	
	
    maxconn 30000			            #最大连接数,HAProxy 要求系统的 ulimit -n 参数大于 maxconn*2+18

    #chroot /var/lib/haproxy            #修改haproxy工作目录至指定目录,一般需将此行注释掉
    pidfile     /var/run/haproxy.pid    #指定保存HAProxy进程号的文件
    user haproxy            #以指定的用户名身份运行haproxy进程
    group haproxy           #以指定的组名运行haproxy,以免因权限问题带来风险
    daemon					#让haproxy以守护进程的方式工作于后台
    #nbproc 1				#指定启动的haproxy进程个数,只能用于守护进程模式的haproxy,默认只启动一个进程。haproxy是单进程、事件驱动模型的软件,单进程下工作效率已经非常好,不建议开启多进程
    spread-checks 2         #在haproxy后端有着众多服务器的场景中,在精确的时间间隔后统一对众服务器进行健康状况检查可能会带来意外问题;此选项用于将其检查的时间间隔长度上增加或减小一定的随机时长;默认为0,官方建议设置为25之间。

defaults   	#配置默认参数,这些参数可以被用到listen,frontend,backend组件     
    log     global			#所有前端都默认使用global中的日志配置
    mode    http			#模式为http(7层代理http,4层代理tcp)
    option  http-keep-alive #使用keepAlive连接,后端为静态建议使用http-keep-alive,后端为动态应用程序建议使用http-server-close
    option  forwardfor      #记录客户端IP在X-Forwarded-For头域中,haproxy将在发往后端的请求中加上"X-Forwarded-For"首部字段
    option  httplog			#开启httplog,在日志中记录http请求、session信息等。http模式时开启httplog,tcp模式时开启tcplog
    option  dontlognull		#不在日志中记录空连接
    option  redispatch		#当某后端down掉使得haproxy无法转发携带cookie的请求到该后端时,将其转发到别的后端上
    option  abortonclose    #当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接
    maxconn 20000			#最大连接数,“defaults”中的值不能超过“global”段中的定义
    retries 3               #定义连接后端服务器的失败重连次数,连接失败次数超过此值后会将对应后端服务器标记为不可用
    timeout http-request 2s 	#默认http请求超时时间,此为等待客户端发送完整请求的最大时长,用于避免类DoS攻击。haproxy总是要求一次请求或响应全部发送完成后才会处理、转发
    timeout queue 3s   	    #默认客户端请求在队列中的最大时长
    timeout connect 1s		#默认haproxy和服务端建立连接的最大时长,新版本中替代contimeout,该参数向后兼容
    timeout client 10s		#默认和客户端保持空闲连接的超时时长,在高并发下可稍微短一点,可设置为10秒以尽快释放连接,新版本中替代clitimeout
    timeout server 2s		#默认和服务端保持空闲连接的超时时长,局域网内建立连接很快,所以尽量设置短一些,特别是高并发时,新版本中替代srvtimeout
    timeout http-keep-alive 10s		#默认和客户端保持长连接的最大时长。优先级高于timeout http-request 也高于timeout client
    timeout check 2s		#和后端服务器成功建立连接后到最终完成检查的最大时长(不包括建立连接的时间,只是读取到检查结果的时长)

frontend http-in
    bind *:80

    acl url_jsp  path_end  -i .jsp

   

    default_backend nginx_server

backend nginx_server
    balance  roundrobin
    option httpchk  GET /test.html

    server ngx01 192.168.80.210:80 check inter 2000 fall 3 rise 2
    server ngx02 192.168.80.220:80 check inter 2000 fall 3 rise 2



listen stats
    bind *:1080
    stats enable
    stats refresh 30s
    stats uri /stats
    stats realm HAProxy\ Stats
    stats auth admin:admin

image.png

vim haproxy

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png