ELK企业级日志分析系统

梅你不可的小东西
116 阅读11分钟

一、ELK 简介

ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。

1. ElasticSearch

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。

Elasticsearch 是使用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。

Elasticsearch是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大容量的日志数据，也可用于搜索许多不同类型的文档。

2.Kiabana

Kibana 通常与 Elasticsearch 一起部署，Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard，Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据，可以用来汇总、分析和搜索重要数据。

3.Logstash

Logstash作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置，一般会发送给 Elasticsearch。

Logstash 由 Ruby 语言编写，运行在 Java 虚拟机（JVM）上，是一款强大的数据处理工具， 可以实现数据传输、格式处理、格式化输出。

Logstash 具有强大的插件功能，常用于日志处理。

53c42928e4cc4a258f990a75d0c6299a.png

4.其他组件Filebeat

Filebeat，轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。常应用于 EFLK 架构当中。

filebeat 结合 logstash 带来好处

  • 通过 Logstash 具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，从而减轻 Elasticsearch 持续写入数据的压力

  • 从其他数据源（例如数据库，S3对象存储或消息传递队列）中提取

  • 将数据发送到多个目的地，例如S3，HDFS（Hadoop分布式文件系统）或写入文件

  • 使用条件数据流逻辑组成更复杂的处理管道

5.其他组件Fluentd

Fluentd是一个流行的开源数据收集器。由于 logstash 太重量级的缺点，Logstash 性能低、资源消耗比较多等问题，随后就有 Fluentd 的出现。相比较 logstash，Fluentd 更易用、资源消耗更少、性能更高，在数据处理上更高效可靠，受到企业欢迎，成为 logstash 的一种替代方案，常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。

在 Kubernetes 集群中一般是通过 DaemonSet（控制器） 来运行 Fluentd，以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。 它通过获取容器日志文件、过滤和转换日志数据，然后将数据传递到 Elasticsearch 集群，在该集群中对其进行索引和存储。

云原生环境中会用Fluentd替换Logstash

6.缓存/消息队列

缓存/消息队列（redis、kafka、RabbitMQ等）可以对高并发日志数据进行流量削峰和缓冲，这样的缓冲可以一定程度的保护数据不丢失，还可以对整个架构进行应用解耦。

使用ELK的原因

日志主要包括系统日志、应用程序日志和安全日志。 系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷， 性能安全性， 从而及时采取措施纠正错误。

往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。 如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。 当务之急我们使用集中化的日志管理， 例如∶ 开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后， 日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时， 大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统， 可以提高定位问题的效率。

完整日志系统基本特征

  • 收集∶能够采集多种来源的日志数据
  • 传输∶能够稳定的把日志数据解析过滤并传输到存储系统
  • 存储∶存储日志数据
  • 分析∶支持 UI分析
  • 警告∶能够提供错误报告，监控机制

 ELK的工作原理

  • 在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上， 在日志服务器上部署 Logstash。
  • Logstash 收集日志，将日志格式化并输出到Elasticsearch 群集中。
  • Elasticsearch 对格式化后的数据进行索引和存储。
  • Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

总结：logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处

微信截图_20221117091940.png

ELK的部署

微信截图_20221117092028.png

web服务器部署logstash+kibana：192.168.116.50

es节点1： 192.168.116.60

es节点2： 192.168.116.70

节点服务器安装elasticsearch 

（1）需要先准备好相关的安装包（后三个用于前端图形化展示es状态）

微信截图_20221117095911.png

（2）部署jdk环境

yum -y install java-1.8.0-openjdk-devel.x86_64

微信截图_20221117100013.png

（3）安装es

微信截图_20221117100108.png

(4)修改主机名，在/etc/hosts文件中添加映射关系

 #node01节点
 hostnamectl set-hostname node01
 su
 vim /etc/hosts
 192.168.116.60 node01
 192.168.116.70 node02
 ​
 #node02节点
 hostnamectl set-hostname node02
 su
 vim /etc/hosts
 192.168.10.40 node01
 192.168.10.70 node02

（5）修改配置文件

#修改主配置文件前先备份  
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
#修改主配置文件
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释，指定集群名字
cluster.name: my-elk-cluster
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1 
node.master: true #是否master节点，false为否     
node.data: true #是否数据节点，false为否
--33--取消注释，指定数据存放路径
path.data: /var/lib/elasticsearch
--43--取消注释，避免es使用swap交换分区
bootstrap.memory_lock: true
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200 #指定es集群提供外部访问的接口 
transport.tcp.port: 9300 #指定es集群内部通信口
--68--取消注释，集群发现通过单播实现，指定要发现的节点  
discovery.zen.ping.unicast.hosts: ["192.168.116.60:9300", "192.168.116.70:9300"]  ​

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

微信截图_20221117110728.png

微信截图_20221117110713.png

ES三类节点说明

微信截图_20221117110910.png

注：还有一种混合节点 node.master: true 和 node.data: true ，这种在生产环境中不建议使用，我们这里的实验测试环境会将主节点和数据节点放在一台主机上。

三类节点分配比例

一般来说，主节点最多3台，数据节点可以为每个主节点分配 24 台（3个主节点就是一共612台），客户端可以为数据节点总数的1/3左右。

根据读写情况来决定，写多则数据节点多，读多则客户端多。

（6）优化系统（放开内存、进程数和文件限制）

#（1）优化最大内存大小和最大文件描述符的数量
vim /etc/security/limits.conf
......
*  soft    nofile          65536
*  hard    nofile          65536 
*  soft    nproc           32000
*  hard    nproc           32000
*  soft    memlock         unlimited 
*  hard    memlock         unlimited#不锁内存，即不限制内存（一半给ES，一半给操作系统）

#需重启生效  
#临时生效可以通过"ulimit -n 数量"命令来修改每个进程可打开的最大文件数  
​ 
#（2）优化elasticsearch用户拥有的内存权限 
vim /etc/sysctl.conf

微信截图_20221117112504.png

微信截图_20221117113654.png

微信截图_20221117113015.png

（7）优化es拥有的内存使用权限

由于ES构建基于lucene，而lucene设计强大之处在于lucene能够很好的利用操作系统内存来缓存索引数据，以提供快速的查询性能。lucene的索引文件segements是存储在单文件中的，并且不可变，对于OS来说，能够很友好地将索引文件保持在cache中，以便快速访问。因此，我们很有必要将一半的物理内存留给lucene，另一半的物理内存留给es（TM heap)。

  • 在ES内存设置方面，可以遵循以下原则

    当机器内存小于64G时，遵循通用的原则，508给ES，50%留给操作系统，供lucene使用；

    当机器内存大于64G时，遵循原则:建议分配给Es分配4~32G 的内存即可，其它内存留给操作系统，供lucene使用。

微信截图_20221117115315.png

微信截图_20221117115646.png

(8)启动（注意es启动最低需要4G内存）

微信截图_20221121091724.png

（9）依次安装其余三个软件

#安装node.js（大约10分钟）
cd /opt
tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make && make install

#安装phantomjs
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin/
cp phantomjs /usr/local/bin

#安装 Elasticsearch-head-master 数据可视化工具
unzip elasticsearch-head-master.zip
cd elasticsearch-head-master/
npm install

注：在npm install 数据可视化工具时如果出现以下报错，说明域名解析失败

微信截图_20221121091907.png

解决办法之一：添加DNS服务器8.8.8.8

（10）在es配置文件中添加跨域访问配置，并重启服务

vim /etc/elasticsearch/elasticsearch.yml
#添加
http.cors.enabled: true
http.cors.allow-origin: "*"

#重启服务加载配置
systemctl restart elasticsearch.service

微信截图_20221121092027.png

（11）启动可视化工具（开启端口为9100）

cd /opt/elasticsearch-head-master/
npm run start &

微信截图_20221121093601.png

微信截图_20221121093622.png

（12）测试插入索引

#通过命令插入一个测试索引，索引为 index-demo，类型为 test。
curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

微信截图_20221121093719.png

微信截图_20221121093738.png

微信截图_20221121093754.png

（13）删除索引

curl -X DELETE '192.168.116.60:9200/index-demo'

微信截图_20221121093837.png

web服务器安装logstash和kibana

（1）准备logstash和kibana的安装包，和jdk环境

微信截图_20221121093934.png

微信截图_20221121093947.png

（2）安装启动logstash，并将命令加入系统识别路径

微信截图_20221121094011.png

微信截图_20221121094029.png

（3）测试使用logstash

  logstash [选项] ...
            -f     通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流。
            -e     从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）。
            -t     测试配置文件是否正确，然后退出。

使用命令行输入标准输出到屏幕

微信截图_20221121094209.png

微信截图_20221121094227.png

微信截图_20221121094302.png

（4）测试无误后，自定义logstash配置文件

Logstash 配置文件基本由三部分组成：input、output 以及 filter（根据需要选择使用）
    input{...}：表示从数据源采集数据，常见的数据源如Kafka、日志文件等。

    output{...}：表示将logstash收集的数据经由过滤器处理之后输出到Elasticsearch。


    filter{...}：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式.

    grok：对若干个大文本字段进行再分割成一些小字段（?<字段名>正则表达式）字段名：正则表达式匹配到的内容。

    date：对数据中的时间格式进行统一和格式化。

    mutate：可以重命名，删除，替换和修改事件中的字段。比如对一些无用的字段进行剔除，或增加自定义的字段。

    mutiline：对多行数据进行统一编排，将多行数据汇总为一个单一的行。

微信截图_20221121094403.png

微信截图_20221121094418.png

（5）加载配置文件，实现日志输出到es

logstash -f 配置文件名

微信截图_20221121094500.png

微信截图_20221121094532.png

安装使用kibana

（1）安装和修改配置文件，并启动kibana

微信截图_20221121094633.png

vim /etc/kibana/kibana.yml
#修改主要配置
#取消注释，Kiabana 服务的默认监听端口为5601
server.port: 5601
#取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
#取消注释，配置es服务器的ip，如果是集群则配置该集群中master节点的ip
elasticsearch.url:  ["http://192.168.116.60:9200","http://192.168.116.70:9200"] 
#取消注释，设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"
#取消注释，配置kibana的日志文件路径（需手动创建），不然默认是messages里记录日志
logging.dest: /var/log/kibana.log

#创建日志文件，并修改归属权限
touch /var/log/kibana.log
chown kibana:kibana /var/log/kibana.log

#启动kibana
systemctl start kibana.service

微信截图_20221121094731.png

（2）使用kibana

访问kibana服务器的5601端口

微信截图_20221121094807.png

微信截图_20221121094821.png

微信截图_20221121094839.png

avatar
文章
阅读
粉丝