大数据一锅端

Elasticsearch 7.3.0 的可落地流程：创建 /opt/servers/es/{data,logs} 目录并授权 es_server，设置 vm.max_map_count=65536

Elasticsearch（ES 7.x/8.x）最小示例：创建索引、插入文档、按 ID 查询、更新与 _search 搜索流程，配合返回样例与截图，帮助读者在 3–10 分钟内完成「索引/文档

Elasticsearch 8.x、Logstash 8.x、Kibana 8.x 的核心能力与常见实践，覆盖集中式日志系统的采集、传输、索引、分片/副本、查询 DSL、聚合与 ILM 生命周期管理等

Kafka→Kylin 的实时 OLAP 链路，面向 2025 年常见业务（电商交易、用户行为、IoT 监控）提供分钟级聚合查询。核心做法：使用 TimedJsonStreamParser 解析三段式

覆盖 Aggregation Group（聚合组）、Mandatory Dimension（强制维度）、Hierarchy（层级维度）、Joint（联合维度） 的使用取舍，并结合 CubeStats

Cuboid 剪枝优化：当维度较多时，Cuboid 数量指数级增长，导致构建时间长与存储膨胀。我们给出工程化做法：通过 CubeStatsReader 命令核查已物化 Cuboid 的行数

包括手动合并（MERGE Job 提交流程、连续 Segment 要求）、自动合并（Auto Merge Thresholds 多级阈值策略与触发时机）、保留策略Retention Threshol

以 Hive 分区表的日期字段作为 Partition Date Column，将 Cube 拆分为多个 Segment，按区间增量构建，避免对历史数据的重复计算；并对比全量构建与增量构建在查询路径上

Apache Kylin 4.0 的 Cube 建模与查询加速方法：围绕事实表与维度表完成星型建模，设计维度与度量，利用 Aggregation Group、层级维度、联合维度、必要维度 等策略减少

Apache Kylin（3.x/4.x）Cube 的搭建与优化：从 DataSource → Model → Cube 的完整流程，覆盖维度建模、度量设计、Cuboid 预计算、Aggregatio

OLAP 示例：用 Python 生成维度与事实数据，经 Hive（wzk_kylin）装载后，在 Kylin 侧设计 Cube（维度/度量/Cuboid），并给出分组聚合 SQL 的验证结果。

Hadoop 2.9.2、Hive 2.3.9、HBase 1.3.1、Spark 2.4.5、Apache Kylin 3.1.1 与三节点 ZooKeeper/YARN。

Apache Kylin 的背景、演进与工程实践，聚焦 MOLAP 方案在海量数据分析中的落地路径。核心关键词：Apache Kylin、MOLAP、Cube、Cuboid、Hive、Kafka

Scala Kafka Producer 将订单/点击数据写入 Kafka Topic（示例 topic: druid2），在 Druid 中通过 Kafka Indexing Service

Apache Druid 的数据存储与高性能查询路径：从 DataSource/Chunk/Segment 的分层，到 列式存储、Roll-up 预聚合、Bitmap 索引、mmap 文件映射、查询

Apache Druid 在 0.13.0～当前（2025）的组件职责与部署要点：Coordinator 负责历史节点 Segment 的均衡/复制与生命周期管理；Overlord 调度摄入任务

「Kafka→Apache Druid」的实时摄取实战：以网络流量 JSON 为例，通过 Druid 控制台的 Streaming/Kafka 向导完成接入、解析时间列（ts→__time）、设定维度

三台节点上落地 Apache Druid 30.0.0 的低内存集群实践：给出 Broker/Historical/Router 的 JVM 参数（-Xms/-Xmx 与 -XX:MaxDirectM

Apache Druid 30.0.0 的可落地方案，覆盖 MySQL 元数据存储（mysql-connector-java 8.0.19）、HDFS 深度存储与 HDFS 上的 indexing

Apache Druid 30.0.0，面向单机快速验证与工程落地，系统梳理 Druid 架构（Coordinator、Historical、Broker、Ingestion、Deep Storage