杨慕晚

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第2天，点击查看活动详情 背景 公司有一部分的历史数据存储在es，现在需要es的数据与hive的数据关联处理得到新的数据，所以需要把

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第1天，点击查看活动详情 JVM基础参数 测试代码 常用参数 -verbose:gc 输出gc日志信息，默认输出到标准输出 可以独立

Flink SQL 参数记录. 开启 miniBatch 开启 LocalGlobal 开启 Split Distinct 指定时区

1.数据引入层（ODS，Operational Data Store，又称数据基础层）2.数据公共层（CDM，Common Dimenions Model）

对于不查询明细，只关心以维度进行汇总聚合结果的场景。如果只使用普通的MergeTree 的话，无论是存储空间的开销，还是查询时临时聚合的开销都比较大。

ReplacingMergeTree 是 MergeTree 的一个变种，它存储特性完全继承 MergeTree，只是多了一个去重的功能。

ClickHouse 中最强大的表引擎当属 MergeTree（合并树）引擎及该系列（*MergeTree）中的其他引擎，支持索引和分区，地位可以相当于 innodb 之于 Mysql。

通过工具类的封装，实现指定大小的excel数据异步或同步读取 pom依赖 自定义AnalysisEventListener 数据读取以及写入

通过Flink 自带的 ElasticSearch Connector，将 Kafka 中的数据经过 Flink 处理后然后存储到 ElasticSearch