搭建Tomcat+Nginx+kafka

蘇小柒
1,075 阅读4分钟

1 前置条件

1.1 前置条件

可能要用到的包、工具
1.yum –y install lrzsz   //上传下载工具，高大上的工具，再次鄙视那些用ftp工具的
2.yum –y install gcc gcc-c++   //两个包gcc和gcc-c++  为了pcre的编译
3.yum –y install openssl*    //ssl的支持
要是编译报错看错误提示，有的可能是少包的支持，没啥yum啥

1.2 关闭防火墙

首先把防火墙关闭：service iptables stop 
再设置为永久关闭：chkconfig iptables off
一定要关，不然本地可能访问不了虚拟机上的apache

1.3 JDK安装

在oracle官网下载jdk1.7  jdk-7u71-linux-i586.rpm
在/opt下创建文件夹jdk
将jdk-7u71-linux-i586.rpm上传到/opt/jdk下
rpm -ivh jdk-7u71-linux-i586.rpm
之后修改配置文件
vi /etc/profile
在最后加上：
# jdk
export JAVA_HOME=/usr/java/jdk1.7.0_71
export ANDROID_JAVA_HOME=$JAVA_HOME
export JRE_HOME=/usr/java/jdk1.7.0_71/jre
export CLASSPATH=/usr/java/jdk1.7.0_71/lib
export PATH=$JAVA_HOME/bin:$PATH
保存退出之后执行
source /etc/profile  //使更改的配置立即生效
然后输入
java –version查看jdk是否安装成功，出现版本信息表示安装完成
[root@localhost conf]# java -version
java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b14)
Java HotSpot(TM) Client VM (build 24.71-b01, mixed mode, sharing)

2 Tomcat

2.1 Tomcat安装

在/opt下创建文件夹tomcat
将apache-tomcat-6.0.37.tar.gz上传到/opt/tomcat下
1.tar -zxvf apache-tomcat-7.0.41.tar.gz
2.mv apache-tomcat-7.0.41 tomcat1
3.mv tomcat1 /usr/local/
4.cd /usr/local
5.cp –r tomcat1 tomcat2
6.vi /etc/profile修改配置文件
加入：
#tomcat
export TOMCAT_HOME=/usr/local/tomcat1
export TOMCAT_HOME=/usr/local/tomcat2
6.启动tomcat
/usr/local/tomcat1/bin/startup.sh
/usr/local/tomcat2/bin/startup.sh
显示
Using CATALINA_BASE:   /usr/local/tomcat1
Using CATALINA_HOME:   /usr/local/tomcat1
Using CATALINA_TMPDIR: /usr/local/tomcat1/temp
Using JRE_HOME:        /usr/java/jdk1.7.0_71/jre
Using CLASSPATH:       /usr/local/tomcat1/bin/bootstrap.jar
然后ps –ef|grep tomcat查看进程

最后在浏览器中输入http://ip:端口 看到如下页面证明tomcat安装成功

3 Nginx

3.1 Nginx安装

在opt下创建文件夹nginx，将nginx-1.3.15.tar.gz上传到nginx文件夹下
tat –xzvf nginx-1.3.15.tar.gz
进入nginx-1.3.15中
执行
./configure --with-http_stub_status_module --with-http_ssl_module
执行make && make install

查看配置
/usr/local/nginx/sbin/nginx –t
如果屏幕显示以下两行信息，说明配置文件正确：  
the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
the configuration file /usr/local/nginx/conf/nginx.conf was tested successfully

启动nginx
/usr/local/nginx/sbin/nginx

最后在浏览器中输入http://ip:端口 看到Nginx页面说明安装成功

3.2 修改Nginx配置文件nginx.conf，实现负载均衡

#user  nobody;
#启动进程数
worker_processes  1;
#全局错误日志及PID文件
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;

#工作模式及连接数上限
events {
    worker_connections  1024;
}

#设定http服务器，利用它的反向代理功能提供负载均衡支持
http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;
## 配置反向代理的后端tomcat集群
    upstream web_server {
        server localhost:8080 weight=1 max_fails=2 fail_timeout=30s;
        server localhost:9090 weight=1 max_fails=2 fail_timeout=30s;
    }

    server {
        listen       80;
        server_name  localhost;
       # 网页、视频、图片文件从本地读取，且定义在浏览器中缓存30天
       
        location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$
        {       
            expires 30d;    
        }      
        # js、css文件从本地读取，且定义在浏览器中缓存1小时
	
        location ~ .*\.(js|css)?$     
        {       
            expires 1h;
        }      
         
        # 动态文件转发到后端的tomcat集群
	
        location ~ .*\.(php|jsp|cgi|jhtml)?$ {
            proxy_pass http://web_server;
            proxy_set_header Host  $host;
            proxy_set_header X-Forwarded-For  $proxy_add_x_forwarded_for;
            proxy_set_header X-Real-IP  $remote_addr;
        }
        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

# proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        #    proxy_pass   http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht {
        #    deny  all;
        #}
    }


    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name  somename  alias  another.alias;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}


    # HTTPS server
    #
    #server {
    #    listen       443 ssl;
    #    server_name  localhost;

    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

    #    ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}

}

3.3 修改Tomcat1和Tomcat2配置文件server.xml

<Server port="8005" shutdown="SHUTDOWN">  //指定一个端口，这个端口负责监听关闭tomcat的请求

<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000"redirectPort="8443"/>   //tomcat端口号

3.4 测试负载

在两个tomcat下加入工程test
mkdir /usr/local/tomcat1/webapps/test
mkdir /usr/local/tomcat2/webapps/test

在两个test工程下分别创建test.jsp,内容如下
<%@ page contentType="text/html;charset=UTF-8"%>
<html>
<head>
<title> Tomcat_test1</title>
</head>
<body>
<font color = "red" size = "20" >
<% out.print( "test111" ); %>
</font>
</body>
</html>

<%@ page contentType="text/html;charset=UTF-8"%>
<html>
<head>
<title> Tomcat_test2</title>
</head>
<body>
<font color = "red" size = "20" >
<% out.print( "test222" ); %>
</font>
</body>
</html>

3.5 启动tomcat+nginx

启动nginx：/usr/local/nginx/sbin/nginx
启动tomcat：
/usr/local/tomcat1/bin/startup.sh
/usr/local/tomcat2/bin/startup.sh

查看进程

在浏览器中输入ip：nginx端口/工程/jsp页面，最好是不同浏览器，出现如下表示搭建成功

4 kafka

4.1 kafka概念

一个典型的kafka体系架构包括若干Producter（生产者）、若干Broker（代理节点）、若干Consumer（消费者），以及一个Zookeeper集群。

image.png

  1. Producter（生产者）：发送消息的一方；负责创建消息，然后将其投递到kafka中。
  2. Consumer消费者）：接收消息的一方，消费者连接到kafka上并接收消息，进而进行相关的业务逻辑处理。
  3. Broker（代理节点）：可以看做一个独立的kafka服务节点或服务实例。一个或多个broker组成了一个kafka集群。

4.2 Zookeeper安装与配置

4.2.1 JDK安装与配置

安装JDK，并配置环境变量。

4.2.2 Zookeeper安装与配置

4.2.2.1. 官网下载

zookeeper.apache.org/

4.2.2.2. 解压安装

[root@ray opt]# tar xvf apache-zookeeper-3.6.3-bin.tar.gz 
[root@ray opt]# cp apache-zookeeper-3.6.3-bin apache-zookeeper-3.6.3

4.2.2.3. 环境变量

编辑vim /etc/profile，添加环境变量

# zookeeper
export ZOOKEEPER_HOME=/opt/apache-zookeeper-3.6.3
export PATH=$PATH:$ZOOKEEPER_HOME/bin

4.2.2.4. 修改配置

[root@ray opt]# cd /opt/apache-zookeeper-3.6.3/conf/
[root@ray conf]# cp zoo_sample.cfg zoo.cfg

修改zoo.cfg配置文件

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# 初始化时间10秒
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# 数据目录
dataDir=/tmp/zookeeper/data
# zookeeper日志目录
dataLogDir=/tmp/zookeeper/log
# zookeeper对外服务端口
clientPort=2181

默认情况下，系统没有/tmp/zookeeper/data和/tmp/zookeeper/log两个目录，需要创建。

[root@ray conf]#mkdir -p /tmp/zookeeper/data
[root@ray conf]#mkdir -p /tmp/zookeeper/log

4.2.2.5. 创建编号

在/tmp/zookeeper/data目录下创建一个myid文件，并写一个数值，比如0，myid文件里存放的是服务器编号。

4.2.2.6. 启动服务

[root@ray bin]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/apache-zookeeper-3.6.3/bin/../conf/zoo.cfg
Starting zookeeper ... already running as process 8770.

通过zkServer.sh status命令查看服务状态，实例如下：

[root@ray bin]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/apache-zookeeper-3.6.3/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: standalone

4.3 kafka安装与配置

4.3.1 官网下载

kafka.apache.org/

4.3.2 解压安装

[root@ray opt]# tar -xvf kafka_2.12-2.8.0.tar 
[root@ray opt]# cd kafka_2.12-2.8.0/
[root@ray kafka_2.12-2.8.0]# pwd
/opt/kafka_2.12-2.8.0
[root@ray kafka_2.12-2.8.0]#

4.3.3 环境变量

编辑vim /etc/profile，添加环境变量

# kafka
export KAFKA_HOME=/opt/kafka_2.12-2.8.0
export PATH=$PATH:$KAFKA_HOME/bin

4.3.4 配置文件

修改kafka的配置文件

[root@ray config]# vim /opt/kafka_2.12-2.8.0/config/server.properties

示例如下：

# broker的编号
broker.id=0
# 提供的服务入口地址
listeners=PLAINTEXT://:9092
# 存放日志文件的地址
log.dirs=/tmp/kafka-logs
# 集群地址
zookeeper.connect=localhost:2181/kafka

创建日志目录路径/tmp/kafka-logs

[root@ray config]# mkdir -p /tmp/kafka-logs

4.3.5 启动服务

在kafka安装目录的下执行命令

[root@ray opt]# cd kafka_2.12-2.8.0/
[root@ray kafka_2.12-2.8.0]# ./bin/kafka-server-start.sh -daemon ./config/server.properties

使用jps -l命令查看kafka服务进程是否已经启动，示例如下：

[root@ray kafka_2.12-2.8.0]# jps -l
8770 org.apache.zookeeper.server.quorum.QuorumPeerMain
14890 kafka.Kafka
14987 sun.tools.jps.Jps
[root@ray kafka_2.12-2.8.0]#

jps命令只是用来确认kafka服务的正常已经正常启动。它是否能够正确的对外提供服务，还需要通过发送消息和接收消息来进行验证。

4.4 生产与消费

4.4.1 Maven依赖

kafka自身提供Java客户端来演示消息的收发，需要修改Maven依赖。

image.png

4.4.2 生产者

image.png

image.png

4.4.3 消费者

image.png

image.png

4.5 服务端参数配置

主要是kafka的kafka_2.12-2.8.0/config/server.properties文件

4.5.1 zookeeper.connect

该参数为连接zookeeper集群的服务地址（包含端口号），没有默认值，且此参数为必填项，可以配置为localhost:2181，如果集群有多个节点，可以用逗号分隔开，类似于：localhost:2181,localhost:2181,localhost:2181

4.5.2 listeners

该参数指明broker监听客户端连接的地址列表，即为客户端要连接broker的入口地址列表。配置格式为：protocol1://hostname1:port1,protocol2://hostname2:port2,protocol3://hostname3:port3 其中protocol代表协议类型，kafka当前支持的协议类型有PLAINTEXT、SSL、SASL_SSL等，如果未开启安全认证，则使用简单的PLAINTEXT即可。hostname代表主机，port代表端口，此参数默认为null。

4.5.3 log.dir和log.dirs

kafka把所有的消息都保存在磁盘上，而这两个参数用来配置kafka日志文件存放的根目录。一般情况下，log.dir用来配置单个根目录，而log.dirs用来配置多个根目录（以英文逗号区分），log.dirs的优先级比log.dir高。默认情况下只配置了log.dir参数，其默认值为/tmp/kafka-logs。

4.5.4 message.max.bytes

该参数用来指定broker所能接收的消息最大值，默认值为1000012（B），约等于967.6KB。如果producter发送的消息大于这个设定的值，那么producter就会报出RecordTooLargeException的异常。如果需要修改这个参数，那么需要考虑max.request.size（客户端参数）、message.max.bytes（topic端参数）等参数的影响，为了避免修改此参数而引起级联影响，建议在修改此参数之前考虑分拆消息的可行性。

4.6 kafka积压

4.6.1 导致kafka消费积压的原因

原因：

  1. 消息生产速度大于消费速度
  2. 消费者可能有异常导致消息无法消费

解决：

  1. 可以添加queue队列和消费者数量
  2. 检查消费端是否报异常

如果积压的消息很大，而且消息可以丢弃，也可以子啊管理端重置消费位置，从最新产生的信息开始消费(以前积压的就不消费了)

avatar
文章
阅读
粉丝