Hive 集成 Hudi

79 阅读1分钟

Flink/Spark作为读写Hudi的引擎,可以在写入Hudi的时候,将元数据信息同步到Hive中,这样Hive就能读取Hudi的数据了。同时还可以指定配置参数,实现Hive对Hudi的增量读取等功能。

Hive同步Hudi元数据有以下几种方式:

  1. Flink写入Hudi时同步Hive
  2. Spark写入Hudi时同步Hive
  3. 使用Hudi Cli将元数据同步至hive
  4. 使用Hive catalog 或者Hudi catalog 使用hms