在Linux环境下，通过ELK（Elasticsearch+Logstash+Kibana）栈实现Nginx/Apache日志的集中化处理与分析，可显著提升日志管理效率与故障排查能力。以下为具体实施方案：
日志收集架构设计****
1. 组件角色分工****
· Filebeat：轻量级日志采集器，部署于Web服务器，负责实时监控并转发日志文件。
· Logstash：日志处理中心，执行日志解析、过滤与格式化。
· Elasticsearch：分布式搜索引擎，存储结构化日志数据。
· Kibana：可视化分析平台，提供交互式查询与报表生成。
2. 数据流向****
Web服务器日志 → Filebeat → Logstash → Elasticsearch → Kibana
具体实施步骤****
1. Filebeat配置（Nginx示例）****
yaml
| # /etc/filebeat/filebeat.yml | |
|---|---|
| filebeat.inputs: | |
| - type: log | |
| enabled: true | |
| paths: | |
| - /var/log/nginx/access.log | |
| fields: | |
| app_type: nginx_access | |
| fields_under_root: true | |
| output.logstash: | |
| hosts: ["logstash-server:5044"] |
2. Logstash管道配置****
ruby
| # /etc/logstash/conf.d/nginx.conf | |
|---|---|
| input { | |
| beats { | |
| port => 5044 | |
| } | |
| } | |
| filter { | |
| grok { | |
| match => { | |
| "message" => "%{COMBINEDAPACHELOG}+ %{QS:request_time} %{QS:upstream_time}" | |
| } | |
| } | |
| geoip { | |
| source => "clientip" | |
| target => "geoip" | |
| } | |
| date { | |
| match => ["timestamp", "dd/MMM/YYYY:HH:mm:ss Z"] | |
| target => "@timestamp" | |
| } | |
| mutate { | |
| convert => ["response", "integer"] | |
| convert => ["bytes", "integer"] | |
| convert => ["request_time", "float"] | |
| convert => ["upstream_time", "float"] | |
| } | |
| } | |
| output { | |
| elasticsearch { | |
| hosts => ["http://elasticsearch:9200"] | |
| index => "nginx-access-%{+YYYY.MM.dd}" | |
| } | |
| } |
3. Kibana可视化配置****
· 创建数据视图（Data View）映射Elasticsearch索引
· 构建仪表盘展示：
· 请求量趋势图（Time Series）
· 响应状态码分布（Pie Chart）
· 访问来源地理分布（Map）
· 慢请求TOP10（Table）
高级优化技巧****
1.
日志轮转处理
在Logstash配置中添加sincedb_path参数，避免Filebeat重复采集已轮转日志。
2.
3.
性能调优
4.
· Logstash启用多线程处理：pipeline.workers: 4
· Elasticsearch设置分片数：index.number_of_shards: 3
5.
安全加固
6.
· 启用Elasticsearch的X-Pack安全模块
· 通过Nginx反向代理Kibana并配置Basic Auth
7.
异常检测
利用Kibana的Machine Learning模块自动识别404/500错误突增等异常模式。
8.
通过该方案，可实现日均亿级日志的实时处理，将平均故障排查时间从小时级缩短至分钟级，同时支持按需扩展至多节点集群架构。
