安装环境准备
安装Logstash
-
从官方下载地址下载
logstash-6.8.3tips:默认是最新版本下载地址,可选择历史版本
-
解压Logstash-6.8.3.tar.gz
$ tar -xvf Logstash-6.8.3.tar.gz -
修改启动内存参数(非必要)
进入
Logstash-6.8.3/config目录,并修改启动参数$ cd Logstash-6.8.3/config$ vim jvm.options修改
-Xms1g -Xmx1g为-Xms256m -Xmx256m,根据自己需求配置。 -
修改配置文件
进入配置文件目录
$ cd logstash/config复制配置文件
logstash-sample.conf为input-filebeat.conf$ cp logstash-sample.conf input-filebeat.confinput-filebeat.conf此处我使用filebeat收集数据,并输出到Elasticsearch# Sample Logstash configuration for creating a simple # Beats -> Logstash -> Elasticsearch pipeline. input { beats { port => 5044 codec => "json" } } filter { grok { match => { "message" =>"%{TIMESTAMP_ISO8601:timestamp}\s+%{LOGLEVEL:severity}\s+\[%{DATA:service},%{DATA:trace},%{DATA:span},%{DATA:exportable}\]\s+%{DATA:pid}\s+---\s+\[%{DATA:thread}\]\s+%{DATA:class}\s+:\s+%{GREEDYDATA:rest}"} } } output { elasticsearch { hosts => ["http://localhost:9200"] index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}" #index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" #user => "elastic" #password => "changeme" } } -
验证配置文件
$ cd Logstash-6.8.3/bin$ ./logstash --path.settings /data/logstash/config/ -f /data/logstash/config/input-filebeat.conf --config.test_and_exit出现如下信息证明配置没有问题
Configuration OK配置解释
--path.settings用于指定logstash的配置文件所在的目录--f指定需要被检测的配置文件--config.test_and_exit指定检测完之后就退出,不然就会直接启动了
启动Logstash
$ ./logstash --path.settings /data/logstash/config/ -f /data/logstash/config/input-filebeat.conf如未打印错误信息,启动成功。 如果想要自动加载配置文件,可以加入
--config.reload.automatic启动参数$ ./bin/lagstash -f configfile.conf --config.reload.automatic默认,检测配置文件的间隔时间是3秒,可以通过以下命令改变
$ --config.reload.interval <second>