Apache SeaTunnel 2025年1月份社区月报

2025-01期

“各位热爱 Apache SeaTunnel 的小伙伴们，欢迎来到本期的社区月报！”

Apache SeaTunnel 项目正在快速发展，致力于提升数据同步的可扩展性、性能和可靠性。感谢每一位参与其中的社区成员，让我们一同见证 SeaTunnel 的成长。

SeaTunnel Monthly Merge Stars

特别感谢以下小伙伴在过去一个月对 Apache SeaTunnel 项目的卓越贡献！（排名不分先后）

 exceeds the configured maximum (2097152))

@taohaozhi1129	@jw-itq	@hawk9821
@chenyz1984	@iamadamnBoy	@bwcxyk
@shirukai	@litiliu	@liunaijie
@JesseAtSZ	@zhangshenghang	@ahuljh
@Cheun99	@sohurdc	@Tu-maimes
@SEZ9	@Shlpeng	@hailin0
@supernovaYe	@TyrantLucifer	@linjianchang
@liugddx	@JeremyXin	@B1F030
@Polaris-XLY	@e-mhui	@Hisoka-X
@caicancai	@CosmosNi	@daigoopautoy
@corgy-w	@fcb-xiaobo	@xyq2834646405

近期修复和改进

修复内容

• [Fix][doris-e2e]修复flaky的Doris端到端测试 @jw-itq
• [Fix][Connector-Mongodb]当关闭MongoDB读取器时，也关闭MongoDB客户端。 @sohurdc
• [Bugfix][example]修复火花测试案例 @liugddx
• [Fix][Connector-V2]修复 StarRocks 自动创建表时带有注释的问题 @corgy-w
• [Doc][Fix]修复死链 @litiliu
• [Fix][File]修复多文件二进制格式同步失败 @taohaozhi1129
• [Fix]更新 table-merge.md @JesseAtSZ
• [Fix]更新 table-merge.md 文件 @JesseAtSZ
• [Fix] [Connector-V2]Postgres 多主键支持 @shirukai
• [Fix][Doc]修复死链 @Hisoka-X
• [Fix][Connector-V2]修复了添加表注释的问题 @corgy-w
• [Fix][Doc]修复Kubernetes文档中的死链 @Hisoka-X
• [Fix][Hive]写入Parquet文件支持可选的timestamp int96格式 @corgy-w
• [Hotfix][Connector-V2][SFTP]将带通配符的字符添加到SFTP文件名中 @e-mhui
• [Fix][Connector-V2]修复CSV字符串类型写入类型 @corgy-w
• [Fix][connector-elasticsearch]支持 Elasticsearch NEST 类型 && 带有 Array 的 Spark @CosmosNi
• [Fix][Doc]修复about/index.html中的错误链接 @B1F030
• [Fix][docs]修复setup.md中的错误配置 @daigoopautoy
• [Fix][Flink]修复从上游转换中获取null行时的NPE（空指针异常） @litiliu
• [Bug][Kafka]卡夫卡反复阅读 @hawk9821
• [Bug][Avro]修复Avro错误地将短类型转换为整数类型 @hawk9821
• [Hotfix][Zeta][Log]修复zeta并行流日志跟踪以处理作业 @hailin0
• [Fix][Zeta]引入SeaTunnel CompletableFuture以防止ForkJoinPool线程短缺 @Hisoka-X
• [hotfix][connector-elasticsearch-sink]将索引转换为小写 @zhangshenghang
• [Fix][Doc]更新Elasticsearch Sink和Oracle CDC Source示例配置 @bwcxyk
• [BUG]固定的支持存储null的avro格式 @Tu-maimes
• [Fix]将所有snappy依赖项使用一个版本 @Hisoka-X
• [fix][docker]更新Dockerfile @liunaijie
• [Fix][Doris]修复未关闭的目录 @hailin0
• [Fix][Connector][TDEngine]TDEngine支持NCHAR类型 @zhangshenghang
• [Fix] [Kafka Source]Kafka源使用主题作为表名而不是全名。 @Cheun99
• [Bug] [connector-file]当数据源字段小于目标（Hive）字段时，它会抛出空指针异常#8150 @linjianchang
• [hotfix]在使用分片键时修复connector-clickhouse中由操作符优先级引起的异常 @supernovaYe

改进内容

• [Improve]将快照版本更新到2.3.10 @Hisoka-X
• [ [Improve][Jdbc]删除oracle 'v$database'查询 ]( https://github.com/apache/seatunnel/pull/8571 " [Improve][Jdbc]删除oracle 'v$database'查询 ") @hailin0
• [Feature] [Postgre CDC]支持数组类型 @litiliu
• [Doc][Improve]将与 PostgreSQL 相关的中文文档翻译成英文。 @ahuljh
• [Doc][Improve]翻译与Neo4j和StarRocks相关的中文文档 @Cheun99
• [Improve][Connector-v2]添加星罗奇点测试评论 @corgy-w
• [Feature][Transform-V2]llm添加deepseek @corgy-w
• [Feature][Connector-V2]支持在没有数据时创建空文件 @Hisoka-X
• [feature][core]统一引擎初始化连接器逻辑 @liugddx
• [Feature][Iceberg]支持读取多表 @hailin0
• [Feature][Connector-V2]在文件接收器中支持单文件模式 @Hisoka-X
• [Improve][Doc]在HdfsFile.md中添加remote_user参数 @JeremyXin
• [Improve][Doc]更新变换贡献指南 @Hisoka-X
• Revert "[Feature][connector-elasticsearch]Elasticsearch 支持嵌套类型 #8462 @Hisoka-X
• [Improve][Zeta]确保本地模式下CompletableFuture的行为与服务器模式相同。 @Hisoka-X
• [Improve][Connector-V2]MaxComputeSink 支持在保存模式下创建分区 @Hisoka-X@CosmosNi
• [Feature][Connector-V2]Starrocks实现多表 Sink @jw-itq
• [Improve][Connector-file-base]改进的子任务文件分配算法。 @JeremyXin
• [Improve][E2E]改进 Doris 初始化 @hawk9821
• [Feature] [rest-api]支持上传文件和提交任务的Rest Api @fcb-xiaobo
• [Feature][JDBC source]PG支持字符类型 @xyq2834646405
• [Improve][Docs]在德里斯/星洛克文档中添加驱动程序引用 @hailin0
• [Improve][Iceberg]过滤目录表主键为空 @hailin0
• [Feature][Elasticsearch]支持沉降物补丁库 @zhangshenghang
• [Improve][Connector][Hive]跳过临时隐藏目录 @sohurdc
• [Feature][Kafka]添加 debezium_record_table_filter 并修复错误 @Hisoka-X
• [Feature][API]支持带时区偏移的时间戳 @hailin0
• [Feature][MySQL-CDC]支持数据库/表通配符扫描读取 @hawk9821

others

• [Doc][Mysql-cdc]更新文档以支持MySQL 8.0 @litiliu

• [config][enhance]支持在加密/解密配置时使用属性 @litiliu

• [config][doc]添加敏感列并增强文档 @litiliu

• [Docs][Iceberg]将connector-v2/sink/Iceberg.md 翻译成中文 #8497 @Polaris-XLY

• [Doc][Translate]翻译并纠正了原文档中的错误 @iamadamnBoy

• [Imporve][ClickhouseFile]直接连接到每个分片节点以获取相应的路径 @caicancai

• 修复transforms-v2 NLP模型的拼写错误 @SEZ9

• [Doc][Transform-v2]更新 Array 函数的文档 @CosmosNi

Apache/SeaTunnel-Website

fix

• [Fix][Doc]确保source_table_name和result_table的一致性 @Shlpeng

others

• [Release][2.3.9]更新海豚调度网站的文档 @TyrantLucifer
• 更新HdfsFile.md @JeremyXin
• 更新Oracle.md @chenyz1984
• 更新 setup.md @daigoopautoy

apache/seatunnel-website

fix

• [Fix][Doc]确保source_table_name和result_table名称的一致性。 @Shlpeng

others

• [Release][2.3.9]更新 Seatunnel 网站的文档 @TyrantLucifer

• 更新HdfsFile.md @JeremyXin

• 更新Oracle.md @chenyz1984

• 更新 setup.md @daigoopautoy

结尾

Apache SeaTunnel 社区在过去一个月里继续取得了显著进展，特别是在新特性的发布和修复的过程中，大家的贡献推动了项目向前发展。感谢每一位贡献者的辛勤付出，期待更多的小伙伴加入我们，共同推动开源项目的持续发展！

本文由 白鲸开源科技 提供发布支持！