ELFK+ kafka 日志架构

实验架构

• 两台electricsearch 服务器

  • 192.168.10.1

  • 192.168.10.10

• 准备 3 台服务器做 Zookeeper 集群

  • 192.168.10.30

  • 192.168.10.40

  • 192.168.10.60

• logsatsh 服务器 kibana filebeat

  • 192.168.10.20

部署ELK

java环境

java -version                                       #如果没有安装，yum -y install java
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

关闭防火墙

systemctl disable  --now   firewalld
setenforce 0
sed -i.bak 's/SELINUX=enforcing/SELINUX=disabled/'  /etc/selinux/config 
​

安装 Elasticsearch 软件

[root@localhost data]#ls
elasticsearch-6.7.2.rpm  elasticsearch-head-master.zip  node-v8.2.1.tar.gz  phantomjs-2.1.1-linux-x86_64.tar.bz2
​
[root@localhost data]#rpm -ivh elasticsearch-6.7.2.rpm
[root@localhost data]#cd /etc/elasticsearch/
[root@localhost elasticsearch]#mkdir bak 
[root@localhost elasticsearch]#cp -a *.yml  bak/
#备份
​

修改配置文件

[root@node1 elasticsearch]#vim elasticsearch.yml
17 cluster.name: my-elk-cluster
#修改集群名字
​
​
​
23 node.name: node1
24 node.master: true
25 node.data: true
#设置 节点名称 主从之间不能一致    24作为主节点   25作为数据节点
​
​
​
45 bootstrap.memory_lock: true
#内存锁开启  禁止使用  swap
​
​
​
​
59 network.host: 0.0.0.0
#监听地址
60 http.port: 9200
#  默认使用端口
61 transport.tcp.port: 9300
#内部传输端口
​
​
​
73 discovery.zen.ping.unicast.hosts: ["192.168.10.1:9300", "192.168.10.10:9300"]
#自动集群发现，加入主机名  使用单播 类似心跳线
​
​
​
[root@localhost elasticsearch]#grep -v "^#"  elasticsearch.yml 
cluster.name: my-elk-cluster
node.name: node1
node.master: true
node.data: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 0.0.0.0 
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["192.168.10.1:9300", "192.168.10.10:9300"]
​

修改系统配置

性能调优参数

[root@localhost elasticsearch]#vim /etc/security/limits.conf
......
*  soft    nofile          65536
*  hard    nofile          65536
*  soft    nproc           32000
*  hard    nproc           32000
*  soft    memlock         unlimited
*  hard    memlock         unlimited

修改systemd 服务管理器

/etc/systemd/system.conf 文件是用于配置 systemd 的，这是一种用于 Linux 操作系统的系统和服务管理器。通过这个文件，你可以自定义与系统操作、性能和行为相关的各种设置

• DefaultTimeoutStartSec=：设置启动服务的默认等待时间
• DefaultTimeoutStopSec=：设置停止服务的默认等待时间
• DefaultRestartSec=：设置在重新启动服务之前的默认休眠时间
• DefaultLimitNOFILE=：设置打开文件数量的默认限制
• DefaultLimitNPROC=：设置进程数量的默认限制
• DefaultLimitCORE=：设置核心文件大小的默认限制
• DefaultEnvironment=：指定服务的默认环境变量

实际修改

[root@localhost elasticsearch]#vim /etc/systemd/system.conf
DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity

修改内核参数

Lucene 是一个高性能、全功能的文本搜索引擎库，用于实现高效的文本索引和搜索。它是用 Java 编写的，可以嵌入到各种应用程序中，以提供强大的全文搜索功能。Lucene 是许多流行搜索平台的核心，如 Apache Solr 和 Elasticsearch。

以下是 Lucene 的一些关键特性和功能：

0. 文本索引：Lucene 提供了强大的文本索引功能，能够处理大规模文本数据并生成高效的索引。
1. 全文搜索：支持复杂的查询语法，包括布尔查询、短语查询、通配符查询、模糊查询等。
2. 可扩展性：Lucene 设计为模块化和可扩展的，允许用户根据需要扩展和定制其功能。
3. 分词和分析：提供了丰富的分词器和分析器，用于将文本分解为可索引和可搜索的词语。
4. 排序和评分：支持对搜索结果进行排序和评分，以提高搜索的准确性和相关性。
5. 多语言支持：支持多种语言的文本处理和搜索。

优化elasticsearch用户拥有的内存权限 由于ES构建基于lucene, 而lucene设计强大之处在于lucene能够很好的利用操作系统内存来缓存索引数据，以提供快速的查询性能。lucene的索引文件segements是存储在单文件中的，并且不可变，对于OS来说，能够很友好地将索引文件保持在cache中，以便快速访问；因此，我们很有必要将一半的物理内存留给lucene ; 另一半的物理内存留给ES（JVM heap )。所以， 在ES内存设置方面，可以遵循以下原则：

• 当机器内存小于64G时，遵循通用的原则，50%给ES，50%留给操作系统，供lucene使用
• 当机器内存大于64G时，遵循原则：建议分配给ES分配 4~32G 的内存即可，其它内存留给操作系统，供lucene使用

[root@localhost elasticsearch]#vim /etc/sysctl.conf
#一个进程可以拥有的最大内存映射区域数，参考数据（分配 2g/262144，4g/4194304，8g/8388608）
vm.max_map_count=262144
​
sysctl -p
sysctl -a | grep vm.max_map_count

重启服务器 启动 elasticsearch

reboot
systemctl start elasticsearch.service
systemctl enable elasticsearch.service
netstat -antp | grep 9200

查看节点信息

浏览器访问  
http://192.168.10.1:9200  
http://192.168.10.10:9200 
查看节点 Node1、Node2 的信息。
​
浏览器访问 
http://192.168.10.1:9200/_cluster/health?pretty  
http://192.168.10.10:9200/_cluster/health?pretty
查看群集的健康情况，可以看到 status 值为 green（绿色）， 表示节点健康运行。
​
​
浏览器访问 http://192.168.10.1:9200/_cluster/state?pretty  检查群集状态信息

安装插件

编译安装 Elasticsearch-head 插件 主从都可以安装

Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。 安装 Elasticsearch-head 需要提前安装好依赖软件 **node **和 phantomjs。 node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。 phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。

编译安装node组件

#上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -y

cd /opt
tar zxvf node-v8.2.1.tar.gz

cd node-v8.2.1/
./configure
make && make install

安装 Elasticsearch-head 数据可视化工具

#上传软件包 elasticsearch-head-master.zip 到/opt
cd /opt
unzip elasticsearch-head-master.zip
cd /opt/elasticsearch-head/
npm install		 //安装依赖包
npm install --registry=https://registry.npmmirror.com   //指定源

修改 Elasticsearch 主配置文件

vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true				#开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"			#指定跨域访问允许的域名地址为所有


http.cors.enabled: true
http.cors.allow-origin: "*"	

systemctl restart elasticsearch
#重启elasticsearch  服务

启动 elasticsearch-head 服务

必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。

[root@localhost elasticsearch]#cd /opt/elasticsearch-head/
[root@localhost elasticsearch-head]# npm run start &
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

#elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100

测试插件

192.168.10.1:9100
192.168.10.10:9100

在192.168.10.20服务器部署 Logstash

安装服务

yum -y install java
java -version
yum -y install httpd
systemctl start httpd

安装logstash

cd /opt
[root@localhost opt]#  rpm -ivh logstash-6.7.2.rpm                          
​
#开启服务
systemctl enable --now logstash.service
​
[root@localhost opt]# ln -s  /usr/share/logstash/bin/logstash   /usr/bin/
# 做软连接

使用logstash 收集日志

• -f：通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流。
• -e：从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，std然后退出。 out 作为输出）。
• -t：测试配置文件是否正确，

安装kibana

root@localhost opt]# rpm -ivh kibana-6.7.2-x86_64.rpm 

修改配置

[root@localhost opt]# cd  /etc/kibana/
[root@localhost kibana]# cp kibana.yml  kibana.yml.bak -a
​
[root@localhost kibana]# vim kibana.yml
​
2    server.port: 5601                  #打开端口
7    server.host: "0.0.0.0"         #监听端口
28   elasticsearch.hosts: ["http://192.168.10.1:9200", "http://192.168.10.10:9200"]  #el服务器地址
37   kibana.index: ".kibana"         #打开索引
96   logging.dest: /var/log/k.log      #指定日志文件， 需要手动建立文件
114  i18n.locale: "zh-CN"              #中文设置
​
[root@localhost kibana]# chown kibana:kibana /var/log/k.log

启动 kibana

[root@localhost kibana]# systemctl enable --now kibana.service
[root@localhost kibana]# ss -nap |grep 5601
tcp    LISTEN     0      128       *:5601                  *:*                   users:(("node",pid=42235,fd=19))
​

安装 Filebeat

#上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar zxvf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64/ /usr/local/filebeat

配置kafka zoopaper

下载安装包

#下载安装包
官方下载地址：https://archive.apache.org/dist/zookeeper/

cd /opt
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz

安装zookeeper

cd /opt
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz
mv apache-zookeeper-3.5.7-bin /usr/local/zookeeper

修改配置文件

#备份配置文件
cd /usr/local/zookeeper/conf/
cp zoo_sample.cfg zoo.cfg

#修改配置文件
vim zoo.cfg
tickTime=2000   #通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒
initLimit=10    #Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量），这里表示为10*2s
syncLimit=5     #Leader和Follower之间同步通信的超时时间，这里表示如果超过5*2s，Leader认为Follwer死掉，并从服务器列表中删除Follwer
dataDir=/usr/local/zookeeper-3.5.7/data      ●修改，指定保存Zookeeper中的数据的目录，目录需要单独创建
dataLogDir=/usr/local/zookeeper-3.5.7/logs   ●添加，指定存放日志的目录，目录需要单独创建
clientPort=2181   #客户端连：接端口
#添加集群信息
server.1=192.168.10.30:3188:3288
server.2=192.168.10.40:3188:3288
server.3=192.168.10.60:3188:3288

将写好的配置文件 scp 到另外两台服务器

scp -r /usr/local/zookeeper   192.168.10.60:/usr/local/
scp -r /usr/local/zookeeper   192.168.10.40:/usr/local/

根据配置文件 添加日志目录 数据目录(所有节点)

mkdir /usr/local/zookeeper/data
mkdir /usr/local/zookeeper/logs

在每个节点生成 serverid

选举时使用

echo 1 > /usr/local/zookeeper/data/myid  #30
echo 2 > /usr/local/zookeeper/data/myid  #40
echo 3 > /usr/local/zookeeper/data/myid  #60

启动zookeeper

/usr/local/zookeeper/bin/zkServer.sh   start 

/usr/local/zookeeper/bin/zkServer.sh   status
#查看状态

kafka

安装kafka

[root@localhost opt]#tar xf kafka_2.13-2.7.1.tgz   -C /usr/local/
[root@localhost opt]#cd  /usr/local/
[root@localhost opt]#ln -s kafka_2.13-2.7.1/  kafka
​

修改配置文件

[root@localhost config]#vim server.properties 
​
broker.id=0
#21行，broker的全局唯一编号，每个broker不能重复，因此要在其他机器上配置 broker.id=1、broker.id=2
​
​
listeners=PLAINTEXT://192.168.10.30:9092
#31行，指定监听的IP和端口，如果修改每个broker的IP需区分开来，也可保持默认配置不用修改
​
​
num.network.threads=3    #42行，broker 处理网络请求的线程数量，一般情况下不需要去修改   不用修改
num.io.threads=8         #45行，用来处理磁盘IO的线程数量，数值应该大于硬盘数           不用修改
socket.send.buffer.bytes=102400       #48行，发送套接字的缓冲区大小
socket.receive.buffer.bytes=102400    #51行，接收套接字的缓冲区大小
socket.request.max.bytes=104857600    #54行，请求套接字的缓冲区大小
​
​
​
log.dirs=/usr/local/kafka/logs        
#60行，kafka运行日志存放的路径，也是数据存放的路径
​
​
​
zookeeper.connect=192.168.91.103:2181,192.168.91.105:2181,192.168.91.106:2181
# 设置连接zookeeper

复制配置文件 及 kafka 文件夹到其他节点

[root@localhost local]#scp -r kafka  192.168.10.40:/usr/local/ 
[root@localhost local]#scp -r kafka  192.168.10.60:/usr/local/ 
​
​
[root@localhost local]# ln -s /usr/local/kafka_2.13-2.7.1/  /usr/local/kafka
​
配置文件修改
broker.id=2
broker.id=3
#21行，broker的全局唯一编号，每个broker不能重复，因此要在其他机器上配置 broker.id=1、broker.id=2
​
listeners=PLAINTEXT://192.168.10.40:9092
listeners=PLAINTEXT://192.168.10.60:9092
#修改监听地址

启动kafka

[root@localhost local]#cd  /usr/local/kafka/bin/
​
​
[root@localhost bin]#./kafka-server-start.sh  -daemon /usr/local/kafka/config/server.properties 
# 指定配置文件后台启动
​
​
[root@localhost bin]# ss -natp |grep 9092
​

验证kafka 创建topic

./kafka-topics.sh --create --zookeeper 192.168.10.30:2181,192.168.10.40:2181,192.168.10.60:2181 --replication-factor 2 --partitions 3 --topic test1
Created topic test1.

--zookeeper：定义 zookeeper 集群服务器地址，如果有多个 IP 地址使用逗号分割，一般使用一个 IP 即可
--replication-factor：定义分区副本数，1 代表单副本，建议为 2 
--partitions：定义分区数 
--topic：定义 topic 名称

发布消息

消费消息

kafka对接elfk

filebeat配置

修改配置文件

vim filebeat.yml

filebeat.inputs:
- type: log  #指定 log 类型，从日志文件中读取消息
  enabled: true
  paths:
    - /var/log/messages   #指定监控的日志文件
  tags: ["system"] #设置索引标签   这两行注意对齐否则启动不了
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:

output.kafka:
  enabled: true    ## 传给 kafka
  hosts: ["192.168.10.30:9092","192.168.10.40:9092","192.168.10.60:9092"]
  topic: "kunkun"

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

启动 filebeat

nohup ./filebeat -e -c filebeat.yml > filebeat.out &
#-e：输出到标准输出，禁用syslog/文件输出
#-c：指定配置文件
#nohup：在系统后台不挂断地运行命令，退出终端不会影响程序的运行

logstash 配置

input {
   kafka {
   bootstrap_servers => "192.168.10.30:9092,192.168.10.40:9092,192.168.10.60:9092" 
   #Kafka服务器的地址
   #消费的主题为"kunkun"
   topics => "kunkun" 
   type => "kafka"
   #从开头开始
   auto_offset_reset => "latest"
   #添加一些Logstash特定的字段到事件中，如`@version`和`@timestamp`
   decorate_events => true
  }
}




output {
#输出到elasticsearch
  elasticsearch {
     hosts => ["192.168.10.1:9200", "192.168.10.10:9200"]
     index => "system-kunkun-%{+YYYY.MM.dd}"
 }
 #在控制台输出
stdout {
  codec => rubydebug
 }
}

搭建完成