大数据一锅端

训练/测试随机划分会导致评估指标不稳定，并给出工程化解法：K 折交叉验证（K-Fold Cross Validation）。通过 sklearn 的 cross_val_score 在训练集内部做多次

从统一 API（fit/predict/transform/score）到 kneighbors 找出测试样本的 K 个最近邻，再到用学习曲线/参数曲线选择 n_neighbors（K 值）。

KNN/K近邻算法（K-Nearest Neighbors, KNN）：从欧氏距离计算、距离排序、TopK 投票到函数封装，给出可复现的 Python 代码与 matplotlib 可视化。重点解释

2025 年仍最常用的机器学习（Machine Learning）概念框架：监督学习（分类/回归）、无监督学习（聚类/降维）、半监督学习与强化学习（Agent-环境-奖励）。重点解释输入空间、输出空间

Apache Tez（示例版本 Tez 0.9.x）如何在 Hadoop2/YARN 上作为执行引擎替代 MapReduce，为 Hive on Tez、Pig on Tez 提供 DAG（有向无环图

DataX（DataX 3.0）是阿里体系广泛使用并开源的离线数据同步/数据集成工具，面向企业级异构数据源同步（MySQL、Oracle、SQLServer、PostgreSQL、HDFS、Hive、

Master / Data / Coordinating 三类节点职责与生产落地的角色隔离策略，给出容量规划的推算抓手（JVM Heap 30–32GB 上限、冷热数据与磁盘/IO 约束、水平扩容路径

Filebeat 采集 Nginx access.log 写入 Kafka，Logstash 从 Kafka 消费后按字段（app/type）条件解析 message 内嵌 JSON，叠加 GeoIP

通过 Nginx 配置 log_format json 输出结构化 access_log（包含 @timestamp、request_time、status、request_uri、ua 等字段）

Logstash Output 插件（Logstash 7.3.0）给出可复用的工程化落地：stdout（rubydebug）用于联调验数，file 输出用于本地归档与排障留痕

在 Logstash 7.3.0 环境下，用 grok 从控制台 stdin 与 Nginx 访问日志中提取结构化字段（IP、time_local、method、request、status、body

Logstash Input 插件对比，拆解 JDBC Input 与 Syslog 采集链路的技术差异、适用场景与关键配置。JDBC 通过 JDBC 驱动连接 MySQL 等关系型数据库

先用 stdin{} + stdout{codec=>rubydebug} 验证 pipeline 运行链路，再切到 file{} 监听真实日志文件，解释 sincedb 如何记录读取偏移

索引时生成的磁盘列式数据结构，面向排序、聚合与脚本取值优化；多数支持类型默认开启，text 字段默认不提供 doc values，需通过 keyword 子字段或启用 fielddata 才能聚合

Elasticsearch 并发冲突（库存扣减的读-改-写）拆解“写覆盖”成因，并用 ES 的乐观并发控制（Optimistic Concurrency Control, OCC）给出可复现的工程解法

Elasticsearch 倒排索引 的核心数据结构展开：Terms Dictionary（词典）、Posting List（倒排表）、以及 Lucene 的 FST（有限状态转换器） 与 Skip

解释 refresh 导致小段增多、段合并如何在后台把小段并入大段并清理已删除文档，为什么段过多会带来句柄/内存/CPU与查询开销。工程侧给出 merge 相关配置点：merge scheduler

Lucene Segment、Memory Buffer、File System Cache、Refresh、Flush 以及 Translog（事务日志）几个核心组件展开，解释为什么 Elastic

Elasticsearch 中倒排索引（Inverted Index）的原理与实现，从正向索引 vs 倒排索引的差异入手，结合分词流程、Term Dictionary、Posting List 等核心

elasticsearch-rest-high-level-client 实现索引和文档的增删改查，包括：通过 JSON 与 XContentBuilder 两种方式创建索引、配置分片与副本、删除索引