logstash笔记

官方安装教程

https://www.elastic.co/guide/en/logstash/current/docker-config.html#_pipeline_configuration

安装

docker pull logstash

启动

docker run --rm -it logstash
docker run --rm -it -v ~/pipeline/:/usr/share/logstash/pipeline/ logstash
docker run --rm -it -v ~/settings/:/usr/share/logstash/config/ logstash
docker run --rm -it -v ~/settings/logstash.yml:/usr/share/logstash/config/logstash.yml logstash -f /usr/share/logstash/config/logstash.yml

插件

rabbitmq(输入)

input{
   rabbitmq{
        host=>"192.168.0.109"                             # 这里填写Rabbitmq的地址，确保可以ping通
        port=> 5674                            # 这里填写Rabbitmq的端口
        user=>"guest"                          # 这里填写Rabbitmq的用户名
        password=>"guest"                      # 这里填写Rabbitmq的密码
        queue=>"logstash_q"                     # 这里填写Rabbitmq的队列的名称
        durable=> true                         # 这里填写Rabbitmq的队列的durable属性
        codec=>json                            # 这里填写Rabbitmq的队列的内容是什么格式
  }
}

elasticsearch(输出)

output {
    elasticsearch {
        hosts => ["192.168.0.109:9200"]          # ElasticSearch的地址加端口
        index => "position-%{+YYYYMMdd}"        # ElasticSearch的保存文档的index名称，
        document_type=>"rabbit_log"         # ElasticSearch的保存文档的type
        flush_size => 500                       # ElasticSearch的保存文档的多少条提交保存
        idle_flush_time => 10                   # ElasticSearch的保存文档的多少秒提交保存
    }
}