服务日志告警平台方案

服务日志告警平台方案

1.为什么需要集中式日志解决方案？

在公司服务机器部署越来越多的情况下，我们会面临的问题：

• 日志数据分散在多个系统，难以查找
• 日志数据量大，查询速度慢
• 一个调用会涉及多个系统，难以在这些系统的日志中快速定位数据
• 数据不够实时
• 很难对数据进行挖掘，分析，业务告警，审计

2.技术选型

3.架构模型

3.1.graylog架构模型

3.2.prometheusAlert

3.3.GrayLog的工作流程

1. 日志消息通过各种Input输入到Graylog中进行处理。
2. 可以通过Extractors进行正则、Json等形式解析；
3. 通过Streams进行规则匹配分流，对Stream可以配置Pipeline进行数据过滤，最终数据会到到不同的index中；
4. 根据新建index时配置的策略，在elasticsearch的索引中；
5. 告警（Alert）基于Stream进行设置。

3.4.elk架构模型

流程如下：

• 先使用 Filebeat 把日志收集起来，然后把数据再传给 Logstash。
• 通过 Logstash 强大的数据清洗功能。
• 最终把数据写入到 Elasticsearch 中。
• 并由 Kibana 进行可视化