openGemini v1.5性能大升级:写入性能翻倍,查询效率再提速

43 阅读4分钟

经过4个月的持续打磨,openGemini迎来了令人振奋的 v1.5 版本更新。在这一版本中,我们不仅带来了众多新功能,更在读写性能方面实现了显著提升。作为一款面向可观测数据的开源高性能分布式数据库,openGemini v1.5 正在以更轻、更快、更强的姿态重新定义行业标准。

今天,我们就从实测数据出发,带您一探 openGemini v1.5 在性能层面的突破与创新。

一、 数据模型:TSBS cpu-only

为了确保测试的公平性和可比性,我们采用了业界广泛使用的 TSBS (cpu-only) 基准测试工具(github.com/timescale/t…
测试环境:3节点集群

节点配置:8核32G内存
时间线数:30万条

测试机型:c3.2xlarge.4,www.huaweicloud.com/product/ecs…

image.png

二、 写入性能测试:速度提升,资源更省

数据库版本数据量并发数rows/seccpu(%)mem(%)
openGeminiV1.5.125920000008600772.3245.324.18
VictoriaMetricsv1.115.025920000008313114.0746.947.78

VictoriaMetrics(简称 VM)作为开源时序指标数据库领域的第一梯队产品,性能一直表现优异。openGemini v1.5 在与 VM 的对比中依然选择以 VM 为参照,体现了我们对技术的自信与对用户负责的态度。

在 TSBS cpu-only 模型下,openGemini 写入性能约为VM的 2 内存占用仅为 VM 1/2,CPU 使用率则与 VM 相当。这一表现说明,openGemini 在保证高性能的同时,也实现了更优的资源利用率。

三、 查询性能测试:简单更快,复杂更稳

可以从结果看出来,openGemini在资源差不多的情况下,总共 11 个场景的 10 场景查询性能优于 VictoriaMetrics(简称 VM),查询模型single-groupby和查询模型cpu-max-all:openGemini查询性能 约为 VM查询性能 的 1.2-2.4 ;查询模型double-groupby-5、double-groupby-all:openGemini查询性能约为VM查询性能 的1-3 。在 single-groupby-1-1-1 场景下,VM依然表现出色。其设计理念是“极致简洁”,不做过多的计算下推,因此在最简单的查询场景中具有天然优势。

而 openGemini 在复杂聚合场景中表现更佳,主要得益于我们对计算下推的深度优化。在 v1.5 中,我们做了多种计算下推的流程优化,使得在包含多个条件过滤、聚合和连接操作的复杂查询中,响应速度和性能表现显著优于简单查询场景。

当然,我们也意识到目前的实现方式在某些简单查询中存在“过度计算”的问题。在后续版本中,我们计划引入更智能的下推策略,实现“既要又要”的目标:在简单查询中保持高效,在复杂查询中保持领先

四、 性能优化背后的“硬核技术点

我们从“极简构建 + 高效执行”的理念出发,围绕实际业务需求与技术洞察,优化了查询执行架构,旨在解决查询计划构建时延高、数据传输开销大、执行链路长等常见性能瓶颈。

核心优化点解析

1. 查询语句匹配机制

特征识别:基于车联网、实时监控等典型业务场景,提取高频查询语句特征。

高效匹配:通过预定义特征与执行链路的映射机制,使查询匹配成功后,执行器构建时延从毫秒级降至微秒级,极大提升响应速度。

2. 轻量化执行器设计

查询上下文简化:查询上下文更“轻”,网络传输编解码开销更小。

算子融合优化:持续优化扫描、过滤、聚合、投影四大核心算子,部分算子融合(如 scan/filter、agg/merge),减少冗余计算。

调用链路优化:采用 pull-based 与push-based混用模式,简化调用栈,降低函数调用开销。

数据传递优化:构建内存亲和与向量化数据格式,提升 CPU 缓存命中率,减少数据编解码开销。

3. 数据统一复用机制

统一数据结构:自底向上统一 Record 为数据载体,支持 Record到JSON的数据转换,避免中间格式转换。

高效内存复用:构建分层内存池机制,实现 Record 数据的编解码复用与执行器构建复用,有效降低系统 GC 压力。

五、写在最后:不止于性能,更是价值的提升

openGemini v1.5 不仅是一次性能的飞跃,更是一次架构的升级与理念的深化。我们始终致力于为用户提供 更高效、更稳定、更易用的时序数据解决方案。

未来,我们将继续深耕复杂查询优化、资源调度、存储压缩等关键领域,持续打磨openGemini内核,为广大客户打造更强大的性能底座。

📌 欢迎访问我们的 GitHub 地址,获取最新代码,参与测试与贡献: github.com/openGemini