Nginx +Tomcat 负载均衡,动静分离集群

717 阅读10分钟

ps -T -p <PID> 查看指定线程

1. 介绍

  • 通常情况下,一个 Tomcat 站点由于可能出现单点故障及无法应付过多客户复杂多样的请求等情况,不能单独应用于生产环境下,所以我们需要一套更可靠的解决方案
  • Nginx 是一款非常优秀的 http 服务器软件,它能够支持高达 5000 个并发连接数的响应,拥有强大的静态资源处理能力,运行稳定,并且内存、CPU 等系统资源消耗非常低
  • 目前很多大型网站都应用 Nginx 服务器作为后端网站的反向代理及负载均衡器,来提升整个站点的负载并发能力.

小结

  • Nginx是一款非常优秀的HTTP服务器软件

  • 支持高达50 000个并发连接数的响应

  • 拥有强大的静态资源处理能力

  • 运行稳定

  • 内存,CPU等系统资源消耗非常低

1.1. Tomcat重要目录

目录作用
bin存放启动和关闭Tomcat脚本
canf存放tomcat不同的配置文件
doc存放Tomcat文件
lib存放Tomcat运行需要的库文件
logs存放Tomcat执行时的LOG文件
src存放Tomcat的源代码
webappsTomcat的主要web发布目录
work存放jsp编译后产生的class文件

1.2. 反向代理

image.png 反向代理(Reverse Proxy)方式是指以代理服务器来接受 Internet 上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给 Internet 上请求连接的客户端,此时代理服务器对外就表现为一个反向代理服务器。

反向代理是为服务端服务的,反向代理可以帮助服务器接收来自客户端的请求,帮助服务器做请求转发,负载均衡等。

反向代理对服务端是透明的,对我们是非透明的,即我们并不知道自己访问的是代理服务器,而服务器知道反向代理在为他服务。

反向代理的优势:

  • 隐藏真实服务器;
  • 负载均衡便于横向扩充后端动态服务;
  • 动静分离,提升系统健壮性。

QQ截图20221010094732.png

Nginx配置反向代理的主要参数

  1. upstream服务池名{}
  • 配置后端服务器池,以提供响应数据
  1. proxy_pass http://服务池名
  • 配置将访问请求转发给后端服务器池的服务器处理

1.3. 动静分离原理

服务端接收来自客户端的请求中,既有静态资源也有动态资源,静态资源由Nginx提供服务,动态资源Nginx转发至后端

服务端接收来自客户端的请求中,既有动态资源,也有静态资源。静态资源由ngixn提供服务。动态资源由nginx 转发到后端tomcat 服务器。

静态页面一般 有html,htm,css 等路径, 动态页面则一般是jsp ,php 等路径。nginx 在站点的location 中 通过正则,或者 前缀,或者 后缀等方法匹配。当匹配到用户访问路径中有 jsp 时,则转发给后端的处理动态资源的web服务器处理。如果匹配到的路径中有 html 时,则nginx 自己处理。 QQ截图20221010095600.png

1.4. Nginx 静态处理优势

  1. Nginx处理静态页面的效率远高于Tomcat的处理能力
  2. 若Tomcat的请求量为1000次,则Nginx的请求量为6000次
  3. Tomcat每秒的吞吐量为0.6M,Nginx的每秒吞吐量为3 .6M
  4. Nginx处理静态资源的能力是Tomcat处理的6倍

1.5. 吞吐量 / 吞吐率

吞吐量是指系统处理客户请求数量的总和,可以指网络上传输数据包的总和,也可以指业务中客户端与服务器交互数据量的总和。

吞吐率是指单位时间内系统处理客户请求的数量,也就是单位时间内的吞吐量。可以从多个维度衡量吞吐率:①业务角度:单位时间(每秒)的请求数或页面数,即请求数 / 秒或页面数 / 秒;②网络角度:单位时间(每秒)网络中传输的数据包大小,即字节数 / 秒等;③系统角度,单位时间内服务器所承受的压力,即系统的负载能力。

吞吐率(或吞吐量)是一种多维度量的性能指标,它与请求处理所消耗的 CPU、内存、IO 和网络带宽都强相关。

2. Nginx+Tomcat负载均衡、动静分离

QQ截图20221010150547.png

1.部署Nginx 负载均衡器

关闭防火墙
systemctl stop firewalld
setenforce 0

安装
yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make

useradd -M -s /sbin/nologin nginx

cd /opt
tar zxvf nginx-1.12.0.tar.gz -C /opt/

cd nginx-1.12.0/
./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-file-aio \									#启用文件修改支持
--with-http_stub_status_module \					#启用状态统计
--with-http_gzip_static_module \					#启用 gzip静态压缩
--with-http_flv_module \							#启用 flv模块,提供对 flv 视频的伪流支持
--with-http_ssl_module								#启用 SSL模块,提供SSL加密功能
--with-stream

./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-file-aio --with-http_stub_status_module --with-http_gzip_static_module --with-http_flv_module --with-stream

make && make install
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

vim /lib/systemd/system/nginx.service
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecrReload=/bin/kill -s HUP $MAINPID
ExecrStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target

chmod 754 /lib/systemd/system/nginx.service
systemctl start nginx.service
systemctl enable nginx.service

QQ截图20221019165321.png

2.部署2台Tomcat 应用服务器

systemctl stop firewalld
setenforce 0

tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/

vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

source /etc/profile

tar zxvf apache-tomcat-8.5.16.tar.gz

mv /opt/apache-tomcat-8.5.16/ /usr/local/tomcat

/usr/local/tomcat/bin/shutdown.sh 
/usr/local/tomcat/bin/startup.sh

netstat -ntap | grep 8080

QQ截图20221019171140.png

QQ截图20221019171149.png

3.动静分离配置

(1)Tomcat1 server 配置
mkdir /usr/local/tomcat/webapps/test
vim /usr/local/tomcat/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test1 page</title>   #指定为 test1 页面
</head>
<body>
<% out.println("动态页面 1,http://www.test1.com");%>
</body>
</html>


vim /usr/local/tomcat/conf/server.xml
#由于主机名 name 配置都为 localhost,需要删除前面的 HOST 配置
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
	<Context docBase="/usr/local/tomcat/webapps/test" path="" reloadable="true">
	</Context>
</Host>

/usr/local/tomcat/bin/shutdown.sh 
/usr/local/tomcat/bin/startup.sh 

QQ截图20221019171608.png

QQ截图20221019171628.png

4 Nginx server 配置
#准备静态页面和静态图片
echo '<html><body><h1>这是静态页面</h1></body></html>' > /usr/local/nginx/html/index.html
mkdir /usr/local/nginx/html/img
cp /root/game.jpg /usr/local/nginx/html/img

vim /usr/local/nginx/conf/nginx.conf
......
http {
......
	#gzip on;
	
	#配置负载均衡的服务器列表,weight参数表示权重,权重越高,被分配到的概率越大
	upstream tomcat_server {
		server 192.168.85.60:8080 weight=1;
		server 192.168.85.70:8080 weight=1;
		server 192.168.85.80:8080 weight=1;
	}
	
	server {
		listen 80;
		server_name www.wa.com;
	
		charset utf-8;
	
		#access_log logs/host.access.log main;
		
		#配置Nginx处理动态页面请求,将 .jsp文件请求转发到Tomcat 服务器处理
		location ~ .*\.jsp$ {
			proxy_pass http://tomcat_server;
#设置后端的Web服务器可以获取远程客户端的真实IP
##设定后端的Web服务器接收到的请求访问的主机名(域名或IP、端口),默认HOST的值为proxy_pass指令设置的主机名。如果反向代理服务器不重写该请求头的话,那么后端真实服务器在处理时会认为所有的请求都来自反向代理服务器,如果后端有防攻击策略的话,那么机器就被封掉了。
			proxy_set_header HOST $host;
##把$remote_addr赋值给X-Real-IP,来获取源IP
			proxy_set_header X-Real-IP $remote_addr;
##在nginx 作为代理服务器时,设置的IP列表,会把经过的机器ip,代理机器ip都记录下来
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
		}
		
		#配置Nginx处理静态图片请求
		location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|css)$ {
			root /usr/local/nginx/html/img;
			expires 10d;
		}
		
		location / {
			root html;
			index index.html index.htm;
		}
......
	}
......
}

QQ截图20221019194229.png
QQ截图20221019173759.png

QQ截图20221019173916.png

3. Nginx 负载均衡模式:

  1. rr 负载均衡模式:

每个请求按时间顺序逐一分配到不同的后端服务器,如果超过了最大失败次数后(max_fails,默认1),在失效时间内(fail_timeout,默认10秒),该节点失效权重变为0,超过失效时间后,则恢复正常,或者全部节点都为down后,那么将所有节点都恢复为有效继续探测,一般来说rr可以根据权重来进行均匀分配。

  1. least_conn 最少连接:

优先将客户端请求调度到当前连接最少的服务器。

  1. ip_hash 负载均衡模式:

每个请求按访问ip的hash结果分配,这样每个访客固定访问一个后端服务器,可以解决session的问题,但是ip_hash会造成负载不均,有的服务请求接受多,有的服务请求接受少,所以不建议采用ip_hash模式,session 共享问题可用后端服务的 session 共享代替 nginx 的 ip_hash(使用后端服务器自身通过相关机制保持session同步)。

  1. fair(第三方)负载均衡模式:

按后端服务器的响应时间来分配请求,响应时间短的优先分配。

  1. url_hash(第三方)负载均衡模式:

基于用户请求的uri做hash。和ip_hash算法类似,是对每个请求按url的hash结果分配,使每个URL定向到同一个后端服务器,但是也会造成分配不均的问题,这种模式后端服务器为缓存时比较好。

算法详解
轮询(默认)每个请求按时间顺序逐—分配到不同的后端服务,如果后端某台服务器死机,自动剔除故障系统,使用户访问不受影响
轮询权重值weight的值越大分配到的权限概率越高,主要用于后端每台服务器性能不均匀情况,或者仅仅为在主从的情况下设置不同的权重值,达到合理利用主机资源
原地址哈希ip_hash每个请求按访问IP的哈希结果分配,使来自同一个IP的访客固定访问一台后端服务器,并且可以有效解决动态网页存在session共享问题
fair比weight、ip_hash更智能的负载均衡算法,根据页面大小和加载时间长短智能进行负载均衡,根据后端服务器响应时间来分配请求。nginx不支持fair,需要使用的话必须安装upstream_fair模块
url_hash按访问url的哈希结果来分配请求,使每个url定向到一台后端服务器,可以进一步提高后端缓存服务器的效率例如: hash $request_uriconsistent;#基于用户请求的uri做hash
least_conn最小连接调度算法,优先将客户端请求调度到当前连接最少的服务器
Nginx 四层代理配置:
./configure --with-stream

和http同等级:所以一般只在http上面一段设置,
stream {
	
    upstream appserver {
		server 192.168.80.100:8080 weight=1;
		server 192.168.80.101:8080 weight=1;
		server 192.168.80.101:8081 weight=1;
    }
    server {
        listen 8080;
        proxy_pass appserver;
    }
}

http {
......

7层代理与4层代理区别

代理方式区别
4层基于IP+PORT(TCP+UDP)转发
7层基于http,https,mail代理转发

总结

  • Nginx 支持哪些类型代理?
  1. 反向代理 代理服务端 7层方代理向代理 4层方向

  2. 正向代理 代理客户端 代理缓存

  3. 7层 基于 http,https,mail 等七层协议的反向代理

  • 使用场景: 动静分离

  • 特点:功能强大,但转发性能较4层偏低

  • 配置: 在http块里设置 upstream 后端服务池: 在seever块里用location匹配动态页面路径,使用 proxy_pass http://服务器池名 进行七层协议(http协议)转发

http {
    upstream backersrver [weight=   fail=   ...]
       server IP1: PORT1 [weight=   fail=   ...]
       ......
     }  

     server  {
         listen 80;
         server_name  XXX;
         location ~ 正则表达式 {
            proxy_pass  http://backeserer;
            .......
            }
     }
     
}     
        
  1. 4层 基于 IP+(tcp或者udp)端口的代理
  • 使用场景: 负载均衡器 /负载调度器,做服务器集群的访问入口

  • 特点:只能根据IP+端口转发,但转发性能较好

  • 配置: 和http块同一层,一般在http块上面配置

stream {
    upstream backerserver  {
       server IP1:PORT1  [weight=   fail=   ...]
       server IP2:PORT2  [weight=   fail=   ...]
       .....
       }
       
       server {
         listen  80;
         server_name XXX;
         proxy_pass  backerserver;
}         
       

调度算法 6种

轮询 加权轮询 最少/小连接 ip_hash fair url_hash

会话保持 ip_hash url_hash 可能会导致负载不均衡 通过后端服务器的session共享来实现

Nginx+Tomcat 动静分离

  • Nginx处理静态资源请求,Tomcat处理动态页面请求

怎么实现动态分离

  • Nginx使用location去正则匹配用户的访问路径的前缀或者后缀去判断接受的请求是静态的还是动态的,静态资源请求在Nginx本地进行处理响应,动态页面通过反向代理转发给后端应用服务器

怎么实现反向代理

  • 先在http块中使用upstream模块定义服务器组名,使用location匹配路径在用porxy_pass http://服务器组名 进行七层转发转发

反向代理2种类型

  • 基于7层的协议http,HTTPS,mail代理
  • 基于4层的IP+(TCP/UDP)PORT的代理

4层代理配置

  • 在http块同一层上面配置stream模块,在stream模块中配置upstream模块定义服务器组名和服务器列表,在stream模块中的server模块配置监听的IP:端口,主机名,porxy_pass 服务器组名

Nginx调度策略/负载均衡模式算法6种

 轮询rr    加权轮询weight     最少/小连接least     ip_hash      fair      url_hash    
配置在upstream 模块中        

Nginx如何实现会话保持

ip_hash     url_hash    
通过后端服务器session共享 
使用stick——cookie——insert基于cookie来判断    
通过后端服务器session共享实现