6月2日,Apache Hop 社区发文宣布 Apache Hop 2.0.0 正式发布。
Apache Hop(Hop Orchestration Platform )是一个数据编排和数据工程平台。该项目起源于 Kettle,经过数年的重构,于2020年9月进入 Apache 孵化器,2022年1月18日正式成为 Apache 顶级项目。
本次版本发布主要包括以下功能更新:
升级到 Java 11
新版本升级了所有的Apache Hop 代码,目前支持在 Java 11 和 Java 8 上正常构建和运行。
中文翻译
随着Apache Hop 在亚洲越来越受欢迎,以及中国社区的不断壮大。Hop 2.0.0 包括一项重大更新,支持将 Apache Hop 翻译成简体中文 (zh_CN)。
新的转换插件
APACHE AVRO 文件输出
Apache Avro 文件输出将写入转换为 Avro 二进制或 JSON 格式的二进制文件或字段。
APACHE DORIS 批量加载程序
Apache Doris是现代 MPP 分析数据库产品,可以提供亚秒级查询和高效的实时数据分析。凭借其分布式架构,支持 10PB 级别的数据集,并且易于操作。
Apache Doris Bulk Loader转换允许以高速和大容量将数据插入到 Apache Doris 中,使其成为比使用传统数据库插入语句更快的数据加载方式。
DROOLS RULES ACCUMULATOR
DROOLS RULES ACCUMULATOR 转换收集传入的行并根据规则集执行它们。
Drools Rule Executor
Drools Rule Executor 转换允许根据规则集执行传入行的字段。
公式
支持在管道中的字段上应用类似于 Excel 的公式和函数。
下图展示了几个带有 Apache Hop 毕业日期的日期和时间函数示例。
APACHE BEAM 升级
Apache Beam是统一编程模型,允许在任何执行引擎上运行批处理和流数据处理作业,例如 Apache Spark、Apache Flink 或 Google Cloud Platform Dataflow。
Apache Beam 一直是 Apache Hop 中的一个重要插件,并随着Apache Spark 3.1.3 和Apache Flink 1.14.4 升级到 2.38.0。
其他功能更新请查看:hop.apache.org/blog/2022/0…