日志收集filebeat安装配置简介

putty 工具安装配置

PuTTY是一个Telnet、SSH、rlogin、纯TCP以及串行接口连接软件。--百度百科

（简单讲Putty是一个linux terminal简略版，可连接服务器使用SSH等功能）

putty下载地址:www.putty.be/

选择对应的系统版本进行下载putty，按指示步骤进行安装。完成后打开界面如下：

在Host和port输入的对应服务器的地址以及相关端口，按open打开后就可以连接并进入登录页面，输入服务地址密码即可。

上传filebeat安装文件到服务器

使用win+R 输入cmd 进入windows终端界面，使用pscp指令从windows上传文件到服务器端

pscp + "文件所在路径" + “服务器登录名” @ “地址” ： “上传到地址”

例如：pscp D:\filebeat\filebeat-6.3.2-x86_64.rpm root@192.168.1.100:/home/filebeat

上传成功后可在服务器端看到所上传的文件，并在当前页面下使用命令进行安装：

 rpm -ivh filebeat-6.3.2-x86_64.rpm

安装成功后使用vim打开配置文件：

 vim /etc/filebeat/filebeat.yml

需要在配置文件中添加input 和 output （即为要收集的日志来源及收集后推送的位置）

filebeat.inputs:
- input_type: log     ## input文件类型设置.log
  enabled: true       ## 启用还是关闭
  encoding: utf-8
  scan_frequency: 10s    ##扫描时间
  paths:
    - /path/page.log      ##log文件所在路径
  fields:
    list: test_001        ##名称
  multiline.pattern: '^[\d][\d][\d][\d]-[\d][\d]-[\d][\d]'# 匹配title的正则
  multiline.negate: true
  multiline.match: after

...

- input_type: log     ## input文件类型设置.log
  enabled: true       ## 启用还是关闭
  encoding: utf-8
  scan_frequency: 10s    ##扫描时间
  paths:
    - /path/page.log      ##log文件所在路径
  fields:
    list: test_001        ##名称
  multiline.pattern: '^[\d][\d][\d][\d]-[\d][\d]-[\d][\d]'# 匹配title的正则
  multiline.negate: true
  multiline.match: after

每次可设置一个这样的input type收集一个日志文件，每次须手动增加配置文件。

收集日志流程：

filebeat（收集） -> （推送）logstash -> elasticsearch（查看） -> kibana（展示）

常用filebeat指令

Windows

.\filebeat -e -c filebeat.yml

启动查看状态和输出

./filebeat -e -c filebeat.yml -d "publish"

Linux

启动：systemctl start filebeat.service
停止：systemctl stop filebeat.service
重启：systemctl restart filebeat.service
查看状态：systemctl status filebeat.service
开机自启动：systemctl enable filebeat.service

常见内容参数调整

当ES数据量较大，使用分页查询超过10000条（1000页）时，会报错。

PUT my_index/_settings
{
  "index":{
    "max_result_window":500000
  }
}

update search.max_buckets，因为由于聚合会创建太多存储桶，因此我会发出一些警告。

PUT _cluster/settings
{
  "persistent": {
    "search.max_buckets": 20000
  }
}