logstash简介

896 阅读1分钟

Logstash 是开源的服务器端数据处理管道,能够同时 从多个来源采集数据、转换数据,然后将数据发送到您最喜欢的 “存储库” 中。(我们的存储库当然是 Elasticsearch。)

Logstash对数据处理主要分为3个步骤:输入,过滤,输出。每个模块都是以插件的形式进行扩展,目前支持的插件种类多达200多种。甚至可以借助 Pipeline 管理图形界面来管理 Logstash 的部署, X-Pack monitoring 对Logstash进行全访问的监控。

系统配置

input {
}

filter {
}

output {
}

input配置

input: 配置的收集对象,定义从哪里通过什么样的方式进行收集。支持的数据来源kafka、heartbeat、s3、file、jdbc、tcp等30多种。https://www.elastic.co/guide/en/logstash/current/input-plugins.html

filter配置

https://www.elastic.co/guide/en/logstash/current/filter-plugins.html

output配置

https://www.elastic.co/guide/en/logstash/current/output-plugins.html