ELK日志分析，2024年最新聊聊 大数据开发 开发的现状和思考

机器学习之心AI
60 阅读13分钟

主要功能：
1)Elasticsearch无缝之集成。Kibana架构为Elasticsearch定制，可以将任何结构化和非结构化数据加入Elasticsearch索引。
Kibana还充分利用了Elasticsearch强大的搜索和分析功能。

2)整合数据。Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。

3)复杂数据分析。Kibana提升了Elasticsearch分析能力，能够更加智能地分析数据，执行数学转换并且根据要求对数据切割分块。

4)让更多团队成员受益。强大的数据库可视化接口让各业务岗位都能够从数据集合受益。

5)接口灵活，分享更容易。使用Kibana可以更加方便地创建、保存、分享数据，并将可视化数据快速交流。

6)配置简单。Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器，可以快速启动运行。

7)可视化多数据源。Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到Elasticsearch，支持的第三方技术包括Apache Flume、Fluentd（作为一套收集容器日志的采集器）等。

8)简单数据导出。Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，直观的发现新结果。

五、配置ELK日志分析系统

        配置和安装ELK日志分析系统，安装集群方式，2个elasticsearch节点，并监控apache服务器日志。

主机操作系统    主机名IP地址 主要软件
服务器Centos7.6node1192.168.22.Elasticsearch   Kibana
服务器    Centos7.6node2192.168.22.Elasticsearch   
服务器    Centos7.6apache192.168.22.Logstash Apache

1.配置elasticsearch环境

(1)node1

vim /etc/hosts

java -version

rpm -ivh jdk-8u201-linux-x64.rpm 

vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile

 

 

 

 

(2)node2

vim /etc/hosts

rpm -ivh jdk-8u201-linux-x64.rpm 

java -version

vim /etc/profile.d/java.sh			

export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile.d/java.sh

java -version

 

 

 

 

2.部署elasticsearch软件

node1

(1)安装elasticsearch—rpm包

cd /opt

rpm -ivh elasticsearch-5.5.0.rpm

(2)加载系统服务

sudo systemctl daemon-reload

sudo systemctl enable elasticsearch.service

 

(3)更改elasticsearch主配置文件

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml

17  cluster.name: my-elk-cluster                 集群名字
23  node.name: node1                             节点名字
33  path.data: /data/elk_data                    数据存放路径
37  path.logs: /var/log/elasticsearch/           日志存放路径
43  bootstrap.memory_lock: false                 
不在启动的时候锁定内存（前端缓存。与IOPS-性能测试方式，每秒读写次数相关）

55  network.host: 0.0.0.0                           提供服务绑定的IP地址，0.0.0.0代表所有地址
59  http.port: 9200                                 侦听端口为9200

68  discovery.zen.ping.unicast.hosts: ["node1", "node2"]  集群发现通过单播实现“单播”

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

 

 

(4)创建数据存放路径并授权

mkdir -p /data/elk_data

chown elasticsearch:elasticsearch /data/elk_data/

(5)启动elasticsearch是否成功开启

systemctl start elasticsearch.service
需要等待一段时间让他启动，可以直接看日志：tail -f /var/log/elasticsearch/elas-cluster.log

netstat -antp | grep 9200

 (6)查看节点信息

 

 

node2

(1)安装elasticsearch—rpm包

cd /opt

rpm -ivh elasticsearch-5.5.0.rpm

(2)加载系统服务

systemctl daemon-reload    

systemctl enable elasticsearch.service

 

(3)更改elasticsearch主配置文件

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml

17  cluster.name: my-elk-cluster                集群名字
23  node.name: node2                            节点名字
33  path.data: /data/elk_data                   数据存放路径
37  path.logs: /var/log/elasticsearch/          数据存放路径
43  bootstrap.memory_lock: false                不在启动的时候锁定内存
55  network.host: 0.0.0.0                       提供服务绑定的IP地址，0.0.0.0代表所有地址
59  http.port: 9200                              侦听端口为9200
68  discovery.zen.ping.unicast.hosts: ["node1", "node2"]       群发现通过单播实现

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

 

 

 

(4)创建数据存放路径并授权

mkdir -p /data/elk_data

chown elasticsearch:elasticsearch /data/elk_data/

(5)启动elasticsearch是否成功开启

systemctl start elasticsearch.service

netstat -antp | grep 9200

 (6)查看节点信息

 

 

(7)集群检查健康和状态

 

 

3.安装elasticsearch-head插件

node1

yum install gcc gcc-c++ make -y

cd /opt
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure 
make -j3
make install

 

 

 

 

 

 

 

(1)安装phantomjs前端框架

cd /usr/local/src/
tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

 

 

(2)安装elasticsearch-head数据可视化工具

cd /usr/local/src/
tar xzvf elasticsearch-head.tar.gz
cd elasticsearch-head/
npm install

(3)修改主配置文件

cd 
vim /etc/elasticsearch/elasticsearch.yml    下面配置文件，末尾 

http.cors.enabled: true                     开启跨域访问支持，默认为false
http.cors.allow-origin: "*"                 跨域访问允许的域名地址

systemctl restart elasticsearch

 

 

(4)启动elasticsearch-head  启动服务器

cd /usr/local/src/elasticsearch-head/

npm run start &                         切换到后台运行

netstat -lnupt | grep 9100

netstat -lnupt | grep 9200

 node2

yum install gcc gcc-c++ make -y

cd /opt
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure 
make -j3
make install

 

 

 

 

 

 

 

(1)安装phantomjs

cd /usr/local/src/
tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

 

 

(2)安装elasticsearch-head

cd /usr/local/src/
tar xzvf elasticsearch-head.tar.gz
cd elasticsearch-head/
npm install

 

 

(3)修改主配置文件

cd 
vim /etc/elasticsearch/elasticsearch.yml   下面配置文件，末尾

http.cors.enabled: true
http.cors.allow-origin: "*"

systemctl restart elasticsearch

 

 

(4)启动elasticsearch-head  启动服务器

cd /usr/local/src/elasticsearch-head/
npm run start &                         切换到后台运行

netstat -lnupt | grep 9100

netstat -lnupt | grep 9200

 

 

 

 

 

 

 

 

 

 

es

索引（库）→ 类型（表）→ 文档（字段）

(5)创建索引

curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

 

 

 

 

 

4.安装logstash

做一些日志搜集输出到elasticsearch中

(1)安装Apahce服务（httpd）

yum -y install httpd

systemctl start httpd

 

 

 

 

(2)安装Java环境

java -version      如果没有,安装yum -y install java

 

(3)安装logstash

cd /opt
rpm -ivh logstash-5.5.1.rpm                             安装logstash
systemctl start logstash.service                        启动logstash
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/  建立logstash软连接

(4)对接测试

logstash（Apache）与elasticsearch（node）功能是否正常

-f通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e后面跟着字符串 该字符串可以被当做logstash的配置（如果是” ”,则默认使用stdin做为输入、stdout作为输出）
-t测试配置文件是否正确，然后退出

(5)Apache服务器

输入采用标准输入 输出采用标准输出

logstash agent 
① input
② filter
③ output 

logstash -e 'input { stdin{} } output { stdout{} }'

www.baidu.com                        需要输入www.baidu.com

www.sina.com.cn                      需要输入www.sina.com.cn

 (6)使用rubydebug显示详细输出，codec为一种编解码器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

www.baidu.com

 

使用logstash将信息写入elasticsearch中   输入 输出 对接

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.22.196:9200"] } }'

www.baidu.com                    输入内容
www.sina.com.cn                  输入内容
www.google.com.cn                输入内容

 

 

 

 

5. Apache做对接配置

(1)logstash配置文件

Logstash配置文件主要由三部分组成：input、output、filter（根据需要）

chmod o+r /var/log/messages

ll /var/log/messages

 

(2)配置文件中定义的是收集系统日志（system）

vim /etc/logstash/conf.d/system.conf 

input {
       file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
        }
      }
output {
        elasticsearch {
          hosts => ["192.168.22.196:9200"]
          index => "system-%{+YYYY.MM.dd}"
          }
        }

systemctl restart logstash.service

 

 

 

 

6.安装kibana

cd /usr/local/src/
rpm -ivh kibana-5.5.1-x86_64.rpm
cd /etc/kibana/
cp kibana.yml kibana.yml.bak

vim kibana.yml

2  server.port: 5601                               kibana打开的端口
7  server.host: "0.0.0.0"                          kibana侦听的地址
21 elasticsearch.url: "http://192.168.22.:9200"    和elasticsearch建立联系
30  kibana.index: ".kibana"                        在elasticsearch中添加.kibana索引

systemctl start kibana.service                     启动kibana服务
systemctl enable kibana.service                    开机启动kibana服务

  

 

 

 

 

 

 

 

 

 

 

 

 对接Apache主机的Apache 日志文件（访问的、错误的）

cd /etc/logstash/conf.d/
touch apache_log.conf
vim apache_log.conf

input {
       file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
        }
       file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
        } 
      }
output {
        if [type] == "access" {
        elasticsearch {
          hosts => ["192.168.22.196:9200"]
          index => "apache_access-%{+YYYY.MM.dd}"
          }
        }
        if [type] == "error" {
        elasticsearch {
          hosts => ["192.168.22.196:9200"]
          index => "apache_error-%{+YYYY.MM.dd}"
          }
        }
        }

/usr/share/logstash/bin/logstash -f apache_log.conf

 

   

 

 

img img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

avatar
文章
阅读
粉丝