武子康

DataX（DataX 3.0）是阿里体系广泛使用并开源的离线数据同步/数据集成工具，面向企业级异构数据源同步（MySQL、Oracle、SQLServer、PostgreSQL、HDFS、Hive、

Master / Data / Coordinating 三类节点职责与生产落地的角色隔离策略，给出容量规划的推算抓手（JVM Heap 30–32GB 上限、冷热数据与磁盘/IO 约束、水平扩容路径

Filebeat 采集 Nginx access.log 写入 Kafka，Logstash 从 Kafka 消费后按字段（app/type）条件解析 message 内嵌 JSON，叠加 GeoIP

在 Logstash 7.3.0 环境下，用 grok 从控制台 stdin 与 Nginx 访问日志中提取结构化字段（IP、time_local、method、request、status、body

Logstash Output 插件（Logstash 7.3.0）给出可复用的工程化落地：stdout（rubydebug）用于联调验数，file 输出用于本地归档与排障留痕

通过 Nginx 配置 log_format json 输出结构化 access_log（包含 @timestamp、request_time、status、request_uri、ua 等字段）

Logstash Input 插件对比，拆解 JDBC Input 与 Syslog 采集链路的技术差异、适用场景与关键配置。JDBC 通过 JDBC 驱动连接 MySQL 等关系型数据库

先用 stdin{} + stdout{codec=>rubydebug} 验证 pipeline 运行链路，再切到 file{} 监听真实日志文件，解释 sincedb 如何记录读取偏移

索引时生成的磁盘列式数据结构，面向排序、聚合与脚本取值优化；多数支持类型默认开启，text 字段默认不提供 doc values，需通过 keyword 子字段或启用 fielddata 才能聚合