Doris 传输速率提升 100 倍,新增支持 ClickHouse 数据源类型与 Java 脚本组件!qData 数据中台商业版 v1.2.2 发布

49 阅读4分钟

面向企业级数据治理与分析场景,qData 商业版 v1.2.2 带来了一次关键升级。从 Doris 的极致性能优化,到 ClickHouse 等 OLAP 能力补齐,再到可编程的数据处理方式,qData 正在变得更强,也更灵活。


一、为什么要做这次升级?

在过去的实际项目与客户使用过程中,我们持续收到了来自一线用户的反馈,也发现了一些亟需解决的关键问题:

1️⃣ Doris 写入性能成为瓶颈

在大数据量、高频写入 Doris 的场景下,旧版本写入速度偏慢,不仅同步耗时长,还容易造成任务堆积,难以支撑实时或准实时的数据接入需求。

2️⃣ 做 OLAP 分析的用户呼声最高的 ClickHouse 一直未支持

大量做实时分析和多维分析的用户,核心数据库选型是 ClickHouse,但由于 qData 之前未适配,导致这类用户无法接入平台,应用场景受到明显限制。

3️⃣ 数据转换组件灵活性不足

现有的转换组件更偏向“标准场景”,一旦遇到 自定义加密、复杂计算、特殊业务规则 等需求,就难以应对,用户迫切希望能直接写代码解决问题。

4️⃣ 页面风格不统一,体验割裂

部分模块在列表、表单、详情页之间存在风格不统一、甚至缺失详情页的情况,整体操作体验与专业度仍有提升空间。

基于这些真实问题,qData 数据中台商业版 v1.2.2 应运而生。


二、核心能力升级一览

1️⃣ ClickHouse 数据源正式适配

本次版本新增 ClickHouse 数据源适配能力,支持 ClickHouse 数据库的连接、读取与写入,全面覆盖主流 OLAP 分析场景。

  • 支持大规模数据分析型业务
  • 满足实时分析、报表、指标计算等场景
  • 打通 ClickHouse 用户接入 qData 的关键路径

在这里插入图片描述


2️⃣ 数据集成新增 Java 脚本组件

针对复杂业务逻辑难以配置的问题,qData 数据集成模块新增 Java 脚本组件,支持用户直接编写 Java 代码进行数据清洗与转换。

适用于以下典型场景:

  • 自定义加密、解密逻辑
  • 复杂字段计算与组合
  • 特殊格式处理、规则判断
  • 标准组件难以覆盖的个性化需求

这一能力的引入,使 qData 在“低代码”之外,真正具备了 “可编程扩展” 的能力边界。

在这里插入图片描述 在这里插入图片描述


三、性能与体验的全面提升

1️⃣ Doris 写入性能大幅提升

通过对底层写入逻辑的重构与优化,qData 数据中台商业版 v1.2.2 在 Doris 场景下实现了 性能级跃迁

  • 数据传输速率相比旧版本 提升约 100 倍
  • 大幅缩短数据同步时间
  • 显著缓解任务积压问题

这使 qData 在高频、海量数据写入场景中更加稳定可靠。


2️⃣ 数据集成逻辑重构,稳定性更强

本次同步对数据集成的核心逻辑进行了重构,重点优化了 增量更新机制

  • 提升增量同步的准确性
  • 降低异常数据对整体任务的影响
  • 同步过程更稳定、更可控

3️⃣ 页面标准化改造,体验更专业

围绕“统一、完整、规范”的目标,本版本对系统页面进行了标准化改造:

  • 统一列表页、表单页、详情页的 UI 规范
  • 补齐历史版本中缺失的详情页面
  • 降低用户操作割裂感,提升整体专业度

无论是新用户上手,还是老用户长期使用,体验都更加顺畅一致。


四、问题修复与细节优化

除了新增能力与性能提升,本次版本也对多个影响使用体验的问题进行了修复:

✔ 日志输出优化

修复测试数据连接时报错日志未输出的问题,便于快速定位连接失败原因。

✔ 数据质量日志修复

解决部分数据质量检测日志未正确写入数据库表的问题,确保存档完整、可追溯。

✔ SQL 拼接问题修复

修复数据质量修复功能中生成 SQL 语句缺失库名、模式名导致执行失败的问题,提升功能可靠性。


五、写在最后

qData 数据中台商业版 v1.2.2,不只是一次常规版本更新,而是一次围绕 性能、扩展性与专业体验 的系统性升级:

  • 更快:Doris 写入性能实现质变
  • 更广:ClickHouse 场景全面覆盖
  • 更灵活:Java 脚本打破复杂逻辑天花板
  • 更规范:页面标准化,体验全面提升

未来,qData 将持续围绕企业真实数据场景,不断打磨产品能力,帮助用户把数据真正“用起来”。