WarpParse 0.20 版本发布:数据集成能力再升级!

0 阅读3分钟

亲爱的用户们,

我们很高兴地宣布 WarpParse 0.20-beta 版本发布!本次更新主要聚焦于 数据集成能力的全面增强,引入了多项全新的 Sink 连接器,旨在为您提供更灵活、更高效的数据处理体验。无论您是需要将数据写入 ElasticSearch 进行实时分析,还是导入 Doris、ClickHouse 进行大数据处理,亦或是通过 HTTP/HTTPS 与各类服务进行集成,0.20 版本都能满足您的需求。

本次更新亮点

新增多款高性能数据 Sink

为了更好地支持多样化的数据存储和分析场景,0.20 版本新增了以下强大的数据 Sink:

  • ElasticSearch Sink:现在,您可以轻松地将解析后的数据批量写入 ElasticSearch 的 _bulk 接口。我们支持 HTTP/HTTPS 协议,并提供了超时、重试以及密码认证等配置选项,确保数据传输的稳定性和安全性。这对于需要实时数据索引和搜索的应用场景至关重要。 示例:
[connectors.params]
protocol = "http"# 连接协议,按需改为 https
host = "localhost"# Elasticsearch 服务地址
port = "9200"# Elasticsearch 服务端口
index = "wp_nginx"# 写入的目标索引名
username = "${SEC_USERNAME}"# 用户名
password = "${SEC_PASSWORD}"# 密码
batch_size = 1_0000# 单批次写入记录数
  • Postgres Sink:新增对 PostgreSQL 数据库的写入支持,为您的关系型数据库集成提供了便捷途径。
  • Doris Sink:通过 Stream Load API,您可以将数据高效地批量写入 Apache Doris。我们支持自定义 Stream Load headers、超时、重试和密码认证,让您在处理大规模数据时更加得心应手。
  • ClickHouse Sink:现在支持通过 HTTP 传输的 RowBinary 格式将数据写入 ClickHouse,同样提供了超时、重试和密码认证配置,助力您进行高速分析。
  • HTTP Sink:这是一个功能强大的通用 Sink,支持将解析后的记录发送到任何 HTTP/HTTPS 端点。它非常适用于 webhook、API 集成和自定义数据管道。您可以选择 jsonndjsoncsvkvrawproto-text 等多种输出格式,并支持 Basic Auth 认证、自定义请求头和 gzip 压缩,以及超时、重试配置。

具体使用,可以查看 配置文档

优化与修复

  • 依赖升级:我们将 wp-connector-api 升级到 0.8 版本,有效减少了不必要的依赖。
  • Event ID 修复:同步了上游 wp-motor 的修复,统一了 wp_event_id 的生成逻辑,并成功避免了运行时重启后回退到进程内种子导致的重复 ID 问题.

立即体验新版本!

我们建议所有用户升级到 0.20 版本,以体验这些新功能。您可以通过以下链接获取更多详细信息和升级指南:

curl  -sSf https://get.warpparse.ai/beta_setup.sh | bash

感谢您一直以来对 WarpParse 的支持!我们将持续努力,为您带来更多创新和实用的功能。

WarpParse 团队

2026年3月20日