一.Haproxy应用分析

LVS在企业应用中抗负载能力很强，但存在不足

LVS不支持正则处理，不能实现动静分离
对于大型网站，LVS的实施配置复杂，维护成本相对较高

Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件

适用于负载大的Web站点
运行在硬件上可支持数以万计的并发连接的连接请求

1.1 Haproxy的特性

可靠性和稳定性非常好，可以与硬件级的F5负载均衡设备相媲美；
最高可以同时维护40000-50000个并发连接，单位时间内处理的最大请求数为20000个，最大处理能力可达10Git/s;
支持多达8种负载均衡算法；
支持Session会话保持，Cookie的引导；
支持通过获取指定的url来检测后端服务器的状态；
支持虚机主机功能，从而实现web负载均衡更加灵活；
支持连接拒绝、全透明代理等独特的功能；
拥有强大的ACL支持，用于访问控制；
支持TCP协议的负载均衡转发；（支持7层代理、实现动静分离）
支持客户端的keepalive功能，减少客户端与haproxy的多次三次握手导致资源浪费，让多个请求在一个tcp连接中完成

1.2 Haproxy的调度算法

RR（roundrobin）

RR算法是最简单最常用的一种算法，即轮询调度。

理解举例：

有三个节点A、B、C
第一个用户访问会被指派到节点A
第二个用户访问会被指派到节点B
第三个用户访问会被指派到节点C
第四个用户访问继续指派到节点A，轮询分配访问请求实现负载均衡效果

static -rr

加权轮询，表示根据web服务器的权重来分配前端请求。

为web服务器设置不同权重，哪台服务器配置好，权重就多一点。

类似于Nginx负载局哼算法的ip_hash。

lc （least coune）

最小连接数算法，根据后端的节点连接数大小动态分配前端请求。

理解举例：

有三个节点A、B、C,各节点的连接数分别为A:4、B:5、C:6
第一个用户连接请求，会被指派到A上，连接数变为A:5、B:5、 C:6
第二个用户请求会继续分配到A上，连接数变为A:6、B:5、 C:6; 再有新的请求会分配给B，每次将新的请求指派给连接数最小的客户端
由于实际情况下A、B、C的连接数会动态释放，很难会出现-样连接数的情况
此算法相比较rr算法有很大改进，是目前用到比较多的一-种算法

sh （source hashing）

基于来源访问调度算法，用于一些有Session会话记录在服务器端的场景，可以基于来源的IP、Cookie等做集群调度。

理解举例：

有三个节点A、B、C,第一个用户第一次访问被指派到了A,第二个用户第一次访问被指派到了B。
当第一个用户第二次访问时会被继续指派到A,第二个用户第= _次访问时依旧会被指派到B，只要负载均衡调度器不重启，第-个用户访问都会被指派到A,第二个用户访问都会被指派到B，实现集群的调度。
此调度算法好处是实现会话保持，但某些IP访问量非常大时会引|起负载不均衡，部分节点访问量超大，影响业务使用。

uri

目的地址哈希，表示根据用户请求的URI做hash，做cdn时需要使用。（cdn：内容分发网络，边缘网络缓存加速）

url_hash 就是根据虚拟主机名称后面的目录。

url_param

表示根据请求的URl参数'balance url_ param' requires an URL parameter name

hdr (name)

表示根据http请求头来锁定每一次http请求

rdp-cookie (name)

表示根据cookie (name)来锁定并哈希每一次TCP请求。

1.3 haproxy提供了三种实现会话保持的方式

（1）源地址hash

（2）设置cookie

（3）会话粘性表stick-table

1.4 lvs、nginx、haproxy的区别

负载均衡性能： [硬件负载均衡器F5 >] LVS 最好 > Haproxy 其次 > Nginx 弱于其它两种
支持的代理类型：LVS基于Linux系统内核实现的软负载均衡，只支持4层代理的IP转发，不支持正则匹配 Haproxy和Nginx基于应用程序实现的软负载均衡，都能支持4层和7层代理转发，支持正则匹配

支持的节点健康检查方式：LVS可以配合keepalived实现支持对TCP端口和URL路径方式的健康检查 Nginx默认情况下只支持被动健康检查，主动健康检查模块需要依赖第三方模块 Haproxy支持TCP端口、URL路径、脚本等方式的健康检查

二. Keepalived + Haproxy实现动静分离、负载均衡、高可用

前置准备

#客户机 192.168.67.104 #虚拟vip地址 192.168.67.200

#主服务器 192.168.67.100 #备服务器 192.168.67.106

#nginx静态服务器1 192.168.67.102 #nginx静态服务器2 192.168.67.103

#tomcat动态服务器1/2 192.168.67.105:8081 192.168.67.105:8082

配置tomcat动态服务器

#配置tomcat多实例

systemctl stop firewalld
setenforce 0
#关闭防火墙

 #所需安装包
apache-tomcat-9.0.16.tar.gz  
jdk-8u201-linux-x64.rpm

rpm -ivh jdk-8u201-linux-x64.rpm  
#安装jdk插件

#设置JDK环境变量
vi /etc/profile.d/java.sh

export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64   
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

source /etc/profile.d/java.sh
#调用Java脚本

java -version
#查看当前JDK版本

#部署tomcat多实例服务
cd /opt
tar xf apache-tomcat-9.0.16.tar.gz
#解压tomcat源码包

cp -r apache-tomcat-9.0.16/ /usr/local/tomcat1
cp -r apache-tomcat-9.0.16/ /usr/local/tomcat2
#将tomcat复制到usr/local ,并且改名，方便管理

#更改tomcat、2 server.xhl文件 
vi 
vi /usr/local/tomcat2/conf/server.xml
#修改3个端口号，避免和tomcat1发生冲突

#修改各 tomcat 实例中的 startup.sh 和 shutdown.sh 文件，添加 tomcat 环境变量

#tomcat1
vi /usr/local/tomcat1/bin/startup.sh 
#编辑启动文件

#添加
export CATALINA_BASE=/usr/local/tomcat1
export CATALINA_HOME=/usr/local/tomcat1
export TOMCAT_HOME=/usr/local/tomcat1

vi /usr/local/tomcat1/bin/shutdown.sh
#编辑关闭文件

#添加内容
export CATALINA_BASE=/usr/local/tomcat1
export CATALINA_HOME=/usr/local/tomcat1
export TOMCAT_HOME=/usr/local/tomcat1
—

Tomcat2重复上述操作修改startup.sh 和 shutdown.sh

#路径启动 
/usr/local/tomcat1/bin/startup.sh 
/usr/local/tomcat2/bin/startup.sh 
ss -natp |grep java #查看进程

#准备动态资源 mkdir /usr/local/tomcat1/webapps/test mkdir /usr/local/tomcat2/webapps/test #创建动态资源根目录

#创建动态页面

#tomcat1
vi /usr/local/tomcat1/webapps/test/index.jsp

<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test1 page</title>   
</head>
<body>
<% out.println("动态页面 1,http://www.test1.com");%>
</body>
</html>


#tomcat2
vi /usr/local/tomcat2/webapps/test/index.jsp

<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test2 page</title>   
</head>
<body>
<% out.println("动态页面 2,http://www.test1.com");%>
</body>
</html>

#重启服务

/usr/local/tomcat1/bin/shutdown.sh 
/usr/local/tomcat1/bin/startup.sh 

/usr/local/tomcat2/bin/shutdown.sh 
/usr/local/tomcat2/bin/startup.sh 

ss -natp |grep java
#查看运行情况

#配置虚拟vip
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.67.200
NETMASK=255.255.255.255
 
#重启网络服务，开启虚拟网卡
systemctl restart network
ifup lo:0
ifconfig lo:0

 #设置路由 
 route add -host 192.168.47.200 dev lo:0
 route -n

#配置内核参数
vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

sysctl -p
#刷新内核参数

配置nginx静态页面服务器7-2，7-3；

详细过程在LVS+DR配置nginx页面那里

配置虚拟vip两台nginx服务都已配置完毕

#设置路由

route add -host 192.168.47.200 dev lo:0
route -n

#配置内核参数
vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

sysctl -p
#刷新内核参数

配置主服务器

systemctl stop firewalld
setenforce 0
#关闭防火墙

cd /opt
#配置haproxy服务
haproxy-2.8.3.tar.gz     #所需安装包
#安装依赖环境
yum install -y  pcre-devel bzip2-devel gcc gcc-c++ make  zlib-devel pcre-devel openssl-devel systemd-devel

tar xf haproxy-2.8.3.tar.gz 
#解压缩软件包‘
cd haproxy-2.8.3 
#进入源码包内
ls

make PREFIX=/usr/local/haproxy ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1
#指定安装目录并开启一些功能

make install PREFIX=/usr/local/haproxy
#安装到该目录

useradd -M -s /sbin/nologin haproxy 
#创建用户
chown haproxy.haproxy/usr/local/haproxy -R 
#指定属主和属组
mkdir /etc/haproxy
#创建配置文件目录 
cd examples/

cd /etc/haproxy
vim haproxy.cfg
#创建配置文件

#以下是一些全局配置和默认认配置，可以直接拷

global		#全局配置，主要用于定义全局参数，属于进程级的配置，通常和操作系统配置有关
    #将info（及以上）的日志发送到rsyslog的local0接口，将warning（及以上）的日志发送到rsyslog的local1接口
    log 127.0.0.1 local0 info
    log 127.0.0.1 local1 warning	
	
    maxconn 30000			            #最大连接数，HAProxy 要求系统的 ulimit -n 参数大于 maxconn*2+18

    #chroot /var/lib/haproxy            #修改haproxy工作目录至指定目录，一般需将此行注释掉
    pidfile     /var/run/haproxy.pid    #指定保存HAProxy进程号的文件
    user haproxy            #以指定的用户名身份运行haproxy进程
    group haproxy           #以指定的组名运行haproxy，以免因权限问题带来风险
    daemon					#让haproxy以守护进程的方式工作于后台
    #nbproc 1				#指定启动的haproxy进程个数，只能用于守护进程模式的haproxy，默认只启动一个进程。haproxy是单进程、事件驱动模型的软件，单进程下工作效率已经非常好，不建议开启多进程
    spread-checks 2         #在haproxy后端有着众多服务器的场景中，在精确的时间间隔后统一对众服务器进行健康状况检查可能会带来意外问题；此选项用于将其检查的时间间隔长度上增加或减小一定的随机时长；默认为0，官方建议设置为2到5之间。

defaults   	#配置默认参数，这些参数可以被用到listen，frontend，backend组件     
    log     global			#所有前端都默认使用global中的日志配置
    mode    http			#模式为http（7层代理http，4层代理tcp）
    option  http-keep-alive #使用keepAlive连接，后端为静态建议使用http-keep-alive，后端为动态应用程序建议使用http-server-close
    option  forwardfor      #记录客户端IP在X-Forwarded-For头域中，haproxy将在发往后端的请求中加上"X-Forwarded-For"首部字段
    option  httplog			#开启httplog，在日志中记录http请求、session信息等。http模式时开启httplog，tcp模式时开启tcplog
    option  dontlognull		#不在日志中记录空连接
    option  redispatch		#当某后端down掉使得haproxy无法转发携带cookie的请求到该后端时，将其转发到别的后端上
    option  abortonclose    #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
    maxconn 20000			#最大连接数，“defaults”中的值不能超过“global”段中的定义
    retries 3               #定义连接后端服务器的失败重连次数，连接失败次数超过此值后会将对应后端服务器标记为不可用
    #contimeout 5000        #设置连接超时时间，默认单位是毫秒
    #clitimeout 50000       #设置客户端超时时间，默认单位是毫秒
    #srvtimeout 50000       #设置服务器超时时间，默认单位是毫秒
    timeout http-request 2s 	#默认http请求超时时间，此为等待客户端发送完整请求的最大时长，用于避免类DoS攻击。haproxy总是要求一次请求或响应全部发送完成后才会处理、转发
    timeout queue 3s   	    #默认客户端请求在队列中的最大时长
    timeout connect 1s		#默认haproxy和服务端建立连接的最大时长，新版本中替代contimeout，该参数向后兼容
    timeout client 10s		#默认和客户端保持空闲连接的超时时长，在高并发下可稍微短一点，可设置为10秒以尽快释放连接，新版本中替代clitimeout
    timeout server 2s		#默认和服务端保持空闲连接的超时时长，局域网内建立连接很快，所以尽量设置短一些，特别是高并发时，新版本中替代srvtimeout
    timeout http-keep-alive 10s		#默认和客户端保持长连接的最大时长。优先级高于timeout http-request 也高于timeout client
    timeout check 2s		#和后端服务器成功建立连接后到最终完成检查的最大时长(不包括建立连接的时间，只是读取到检查结果的时长)
#可以根据直接需求自行修改

#直接拷贝版
global
    log 127.0.0.1 local0 info
    log 127.0.0.1 local1 warning
 maxconn 30000

    pidfile     /var/run/haproxy.pid
    user haproxy
    group haproxy
    daemon
    spread-checks 2

defaults
    log     global
    mode    http
    option  http-keep-alive
    option  forwardfor
    option  httplog
    option  dontlognull
    option  redispatch
    option  abortonclose
    maxconn 20000
    retries 3
    timeout http-request 2s
    timeout queue 3s
    timeout connect 1s
    timeout client 10s
    timeout server 2s
    timeout http-keep-alive 10s
    timeout check 2s

#以下为自定义配置

frontend http-in   
   bind *:80     #监听任意地址的80号端口
   acl url_jsp path_end -i .jsp 
   use_backend tomcat_server if url_jsp #定义以.jsp结尾的访问路径，转发给名字叫做tomcat_server的服务器
   default_backend nginx_server

backend nginx_server
   balance roundrobin      #定义轮询算法
   option httpchk GET /index.html  #定义路径

   server nginx1 192.168.67.103:80 check inter 2000 fall 3 rise 2  #定义服务器地址，定义健康检查，2秒做一次检查，连续失败3次直接隔离，连续成功2次将这带入到集群中   
   server nginx2 192.168.67.104:80 check inter 2000 fall 3 rise 2
backend tomcat_server
    balance roundrobin
    option http-server-close #关闭长连接
    cookie HA_STICKY_dy insert indirect nocache #在后端服务器启用基于cookie的会话保持策略
    server tomcat1 192.168.67.105:8081 cookie tomcat1 check inter 2000 fall 3 rise 2
    server tomcat2 192.168.67.105:8082 cookie tomcat2 check inter 2000 fall 3 rise 2

listen stats    #定义监控页面
    bind *:1080                   #绑定端口1080
    stats enable                  #启用统计报告监控
    stats refresh 30s             #每30秒更新监控数据
    stats uri /stats              #访问监控页面的uri
    stats realm HAProxy\ Stats    #监控页面的认证提示
    stats auth admin:admin        #监控页面的用户名和密码

#直接拷贝版
frontend http-in
   bind *:80
   acl url_jsp path_end -i .jsp
   use_backend tomcat_server if url_jsp
   default_backend nginx_server

backend nginx_server
   balance roundrobin
   option httpchk GET /index.html
   server nginx1 192.168.67.103:80 check inter 2000 fall 3 rise 2
   server nginx2 192.168.67.104:80 check inter 2000 fall 3 rise 2
backend tomcat_server
    balance roundrobin
    option http-server-close
    cookie HA_STICKY_dy insert indirect nocache
    server tomcat1 192.168.67.105:8081 cookie tomcat1 check inter 2000 fall 3 rise 2
    server tomcat2 192.168.67.105:8082 cookie tomcat2 check inter 2000 fall 3 rise 2
listen stats
    bind *:1080
    stats enable
    stats refresh 30s
    stats uri /stats
    stats realm HAProxy\ Stats
    stats auth admin:admin

cd /opt/haproxy-2.8.3 
cp examples/haproxy.init /etc/init.d/haproxy
#拷贝管理脚本文件 
vim /etc/init.d/haproxy

ln -s /usr/local/haproxy/sbin/haproxy /usr/sbin/
#添加软连接
chmod +x /etc/init.d/haproxy
#添加执行权限
chkconfig --add /etc/init.d/haproxy
#添加到系统服务
chkconfig --list haproxy
#查看当前状态

service haproxy start 
#开启服务
或
systemctl start haproxy 
#开启服务

ss -natp |grep haproxy
#查看进程

yum install keepalived -y
#安装keepalived服务

vim /etc/keepalived/check_keepalived.sh
#编写一个简单的keepalived的安全检查脚本

#!/bin/bash

if ! killall -0 haproxy

then
systemctl stop keepalived

fi


chmod +x check_haproxy.sh
#添加可执行权限

vim keepalived.conf 
#编辑配置文件

vrrp_script chk_haproxy {
    script "/etc/keepalived/check_haproxy.sh"
    interval 2
    weight 2
}


track_script {
   chk_haproxy
}

剩下没用的全部删除

配置好配置文件后，将配置文件传给备服务器 
#默认备服务器已经安装好keepalived
yum -y install keepalived.x86_64 

scp check_keepalived.sh keepalived.conf 192.168.47.106:`pwd` 

#将当前脚本和配置文件传给192.168.47.106相应目录

前往备服务器

 安装
yum -y install keepalived.x86_64

#返回主服务器 
systemctl start keepalived 
#开启服务

ip a 
#查看vip是否配置完成

配置备服务器

#按照主服务器配置haproxy服务 
systemctl stop firewalld
setenforce 0

cd /opt
haproxy-2.8.3.tar.gz #所需安装包

yum install -y pcre-devel bzip2-devel gcc gcc-c++ make zlib-devel pcre-devel openssl-devel systemd-devel#安装依赖环境

tar xf haproxy-2.8.3.tar.gz #解压缩软件包
cd haproxy-2.8.3 #进入源码包内 ls

make PREFIX=/usr/local/haproxy ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1 #指定安装目录并开启一些功能


make install PREFIX=/usr/local/haproxy #安装到该目录

useradd -M -s /sbin/nologin haproxy #创建用户
chown haproxy.haproxy /usr/local/haproxy -R #指定属主和属组
mkdir /etc/haproxy #创建配置文件目录

cd /etc/haproxy vim haproxy.cfg #创建配置文件


 cd /opt/haproxy-2.8.3
 cp examples/haproxy.init /etc/init.d/haproxy #拷贝管理脚本文件 
 vim /etc/init.d/haproxy
   
  ln -s /usr/local/haproxy/sbin/haproxy /usr/sbin/ #添加软连接
  chmod +x /etc/init.d/haproxy #添加执行权限
  chkconfig --add /etc/init.d/haproxy #添加到系统服务
  chkconfig --list haproxy
 
 
 

service haproxy start 
#开启服务

ss -natp |grep haproxy 
#查看进程

测试

#前往主服务器
ip a

#前往备服务器
ip a

 #现在关掉主服务器的keepalived服务
 systemctl stop keepalived
 
 ip a

 #前往备服务器查看
 ip a

#前往客户机 
#测试动静分离、负载均衡 
curl 192.168.67.200/test/index.jsp #x2
curl 192.168.67.200/index.html #x2

Haproxy负载均衡器

一.Haproxy应用分析

1.1 Haproxy的特性

1.2 Haproxy的调度算法

RR（roundrobin）

static -rr

lc （least coune）

sh （source hashing）

uri

url_param

hdr (name)

rdp-cookie (name)

1.3 haproxy提供了三种实现会话保持的方式

1.4 lvs、nginx、haproxy的区别

二. Keepalived + Haproxy实现动静分离、负载均衡、高可用

前置准备

配置tomcat动态服务器

配置nginx静态页面服务器7-2，7-3；

配置主服务器

配置备服务器

测试