『互联网架构』ELK集群的搭建

6,019 阅读3分钟

说说部署,这里确实要注意下,我自己最开始部署的时候,遇到了很多的坑,会给大家说,避免自己部署的时候在遇到。

(一)如何快速搭建一套稳定的ELK环境

  • elasticsearch 5.6.4 + kibana5.2.0 + logstash5.6.3

线上环境就是这个比较稳定。实践过的。

  • JDK1.8安装
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"
tar -zxvf jdk*
cd jdk*
pwd
echo "export JAVA_HOME=/opt/jdk1.8.0_11" >> /etc/profile
echo "export PATH=$""JAVA_HOME/bin:$""PATH" >> /etc/profile
source /etc/profile

  • ES

之前很多的版本都是ES都是2.X和5.X有很大的差别,使用的功能上都有差别。2.X考虑的太久了2001几年吧,5.6还是比较新的。支持的JDK是1.8,ES建议不要使用太新和太久的。ELK中最难装的就是ES。

cd /opt/
tar -zxvf elasticsearch-5.6.4.tar.gz 

#修改配置
vi  config/elasticsearch.yml 
cluster.name : my-application
node.name : node-1
network.host : 0.0.0.0
http.port : 9200

ELK中的核心,启动的时候一定要注意,因为es不可以进行root账户启动,所以你还需要重新添加一个账户,我这里是apps

adduser apps
passwd apps
#密码设置成123

sudo vi /etc/security/limits.conf
#添加这些内容,注意这里面的apps这个名称是根据自己定义的来修改的用户名。
apps hard nofile 65536
apps soft nofile 65536

vi /etc/security/limits.d/20-nproc.conf
#添加这些内容
* soft nproc 1024
#修改为
* soft nproc 2048

vi /etc/sysctl.conf 
#添加下面配置
vm.max_map_count=655360
#执行
sysctl -p

apps增加权限

chown -R apps:apps /opt/elasticsearch-5.6.4

启动ES

./bin/elasticsearch

谷歌插件:elasticsearch-head

  • logstash 安装

解压

 tar -zxvf logstash-5.6.3.tar.gz 

在config目录建:logstash.conf

cd /opt/logstash-5.6.3/config
vi logstash.conf

做好input ,filter,output三大块, 其中input是吸取logs文件下的所有log后缀的日志文件,filter是一个过滤函数,配置则可进行个性化过滤,output配置了导入到hosts为127.0.0.1:9200的elasticsearch中,每天一个索引。start_position是监听的位置,默认是end,即一个文件如果没有记录它的读取信息,则从文件的末尾开始读取,也就是说,仅仅读取新添加的内容。对于一些更新的日志类型的监听,通常直接使用end就可以了;相反,beginning就会从一个文件的头开始读取。但是如果记录过文件的读取信息,则不会从最开始读取。重启读取信息不会丢失。

如果是指定的tomcat,直接到path修改成指定的日志路径名称就可以了。

input {

 file {

 type => "log"

 path => "/apps/svr/servers/logs/*.log"

 start_position => "beginning"

 }

}

output {

 stdout {

 codec => rubydebug { }

 }

 elasticsearch {

 hosts => "127.0.0.1"

 index => "log-%{+YYYY.MM.dd}"

 }

}

bin目录下启动logstash了,配置文件设置为conf/logstash.conf,加&后台启动。

cd 
./bin/logstash -f ../config/logstash.conf & 

配置多个文件:./logstash -f ../config 指定启动目录,然后启动目录下配置多个*.Conf文件。里面指定不同的logpath。

  • kibana-5.2.0-linux-x86_64 安装
tar -zxvf /opt/kibana-5.2.0-linux-x86_64.tar.gz

配置kibana,文件中指定一下你需要读取的elasticSearch地址和可供外网访问的bind地址就可以了

cd /opt/kibana-5.2.0-linux-x86_64/bin
vi /opt/kibana-5.2.0-linux-x86_64/config/kibana.yml 
# elasticsearch.url: http://localhost:9200,如果是集群则配置master节点。
# server.host: 0.0.0.0

配置启动

cd /opt/kibana-5.2.0-linux-x86_64/
 ./bin/kibana &

#如果需要删除指定端口的服务可以这样
# netstat -tlnp|grep 端口

在/opt/logs/写入文件

echo 'ssssssssssss' >> log1.log

image.png

访问:http://192.168.90.101:5601/

#填入log-*,create创建下就可以了。
log-*

收集到的日志信息

PS:可以监听当前服务器的流量。电脑配置至少4G内存,ES默认是2G的内存,目前是使用的伪分布式的方式,多台电脑也是这样的。