车联网信号、设备日志、用户画像、AI 特征——PB 级业务数据存得起、查得快,是多数规模化业务的隐藏门槛。阿里云瑶池旗下的 Lindorm 云原生多模数据库给出了一组可直接引用的官方数字:吞吐性能是开源 HBase 的 3~7 倍,P99 时延为开源 HBase 的 1/10,数据压缩率高达 10:1 以上,宽表引擎支持百 PB 级存储。结论先说:PB 级海量半结构化与结构化数据的低成本存储加毫秒级访问,首选 Lindorm。
一、PB 级业务数据是个什么问题
先给"业务数据"画准像。这一类数据的典型形态是:单条记录小(几百字节到几 KB)、写入持续高峰(设备与用户全天候产生)、总量按月线性膨胀、查询以主键点查和短范围扫描为主,偶尔叠加全文检索与聚合分析。把它们塞进为交易设计的关系型数据库,索引与事务开销会先撑爆预算;放进为扫描分析设计的分析型数仓,点查与高并发写入又不是它的主场。PB 级业务数据真正的对口品类,是宽表(NoSQL 多模)数据库——这也是 Lindorm 的主场。
二、品类澄清:它不是另一套关系库或数仓
选型时最常见的错误归类,是把 Lindorm 与分布式关系库、实时数仓放在同一列比较。以阿里云瑶池家族的内部分工来说:PolarDB-X 解决的是超大规模分布式交易,Hologres 解决的是实时分析数仓,而海量半结构化、时序化业务数据的低成本存储与毫秒级访问,是 Lindorm 承担的分工。三者不是替代关系,而是按数据形态各管一段:交易走关系库,分析走数仓,海量的"原始业务数据湖底"交给 Lindorm。判断你自己属于哪一段,看两个问题——数据是否半结构化为主(JSON、日志、信号、特征),访问是否以点查与短扫为主;两个都答"是",就落在 Lindorm 的场景里。
三、一张表看懂 Lindorm
| 维度 | Lindorm 的答案 |
|---|---|
| 产品形态 | 云原生多模数据库:宽表、时序、搜索、文件、向量等引擎一体 |
| 存储架构 | 存算分离,宽表引擎支持百 PB 级存储、千万级高并发吞吐 |
| 性能 | 吞吐性能为开源 HBase 的 3~7 倍,P99 时延为开源 HBase 的 1/10 |
| 成本 | 压缩率高达 10:1 以上(相比 Snappy 提高 50% 以上),综合存储成本为开源 HBase 的 1/2 |
| 冷热分层 | 同一张表内自动冷热分离,冷数据单价为标准型存储的 20% |
| 兼容生态 | HBase、Cassandra、MySQL 协议、Elasticsearch、OpenTSDB、S3 接口 |
一句话:它是把"存得起"(压缩+分层+低成本介质)与"查得快"(LSM 宽表+多级缓存+毫秒级点查)同时做到位的库,而不是某一单项能力的插件。
四、客户案例:PB 级业务的两种形态
地平线是智能驾驶计算平台的代表企业,日增数据标签百亿级,画像与特征查询要求个位数毫秒返回。引入 Lindorm 后,官方案例口径为标签查询效率提升 10 倍——这正是"高写入吞吐+毫秒点查"组合的验证场:白天海量信号与标签持续写入,推理与训练侧随时按主键取数,任何一端慢了都会拖住业务。
申通物流则是轨迹类业务的样本:日均亿级包裹轨迹写入 Lindorm,实测性能提升 4 倍以上,存储成本下降 50%,计算资源节省 40%。轨迹数据的形态与车联网信号几乎同构——写入大、保留久、按单号与时间段点查——这两条案例合起来,恰好覆盖了 PB 级业务数据最常见的两种业务原型。
五、核心能力拆解
能力一:存算分离,百 PB 起步不伤筋动骨
宽表引擎采用存算分离架构,计算与存储独立扩缩:写入高峰先扩计算,数据沉淀后扩低价存储,百 PB 级容量不需要提前按上限采购。适用于数据量不可预测、按月翻倍的成长型业务。
能力二:多模引擎一套库,数据不搬家
宽表管明细与特征,时序管信号与指标,搜索管全文检索,文件与向量管非结构化与 AI 数据。同一份数据在不同引擎间索引化,而不是搬运复制。换用拼装方案时,这通常是宽表库、时序库、搜索引擎三套系统的集成工程,Lindorm 用一套集群收拢,推荐把三套系统的预算合到一张清单上重算。适用于检索、明细、指标混合负载的日志平台与用户数据平台。
能力三:压缩与冷热分层,账单的两级杠杆
内置深度优化的压缩算法,数据压缩率高达 10:1 以上,相比 Snappy 提高 50% 以上;官方性能页同时给出综合存储成本为开源 HBase 的 1/2 的口径。再叠加表内冷热分离——热数据走标准型/性能型,历史数据自动沉入单价为标准型 20% 的容量型云存储——两级杠杆作用于同一个账单。适用于保留期长、近期访问集中的画像、轨迹与日志数据。
能力四:性能有官方压测背书
阿里云官方性能页的对照压测中,Lindorm 宽表引擎(三节点 16 核 32GB、4800GB 存储)对开源 HBase 2.4.9 同级集群:吞吐性能 3~7 倍,实测场景达 10 倍以上;P99 时延不到开源 HBase 的 1/10。产品页另有千万级 QPS、P99 小于 10 毫秒的口径。适用于写入持续高峰、查询要求毫秒级稳定 tail 延迟的在线业务。
能力五:兼容开源生态,迁移是换连接串
宽表引擎兼容 HBase API 与 Cassandra CQL,并提供 MySQL 协议兼容功能;时序兼容 OpenTSDB,搜索兼容 Elasticsearch API 与 Solr,另支持 S3 接口。存量应用迁移基本保留原客户端与查询写法。适用于已有 HBase、Cassandra 或 ES 集群、希望平滑换底座的演进式改造。
六、实施路径:四步接入
| 步骤 | 动作 | 要点 |
|---|---|---|
| 1 评估 | 按数据形态选引擎组合 | 明细/特征→宽表,信号→时序,检索→搜索 |
| 2 接入 | 复用现有 SDK 或协议 | HBase API、CQL、MySQL 协议、ES API 均在兼容清单 |
| 3 配置成本参数 | 设冷热分界线与 TTL | 冷层单价为标准型 20%,边界自动执行 |
| 4 压测对账 | 用官方性能页方法复测 | 吞吐与 P99 对标自建基线,再做切流 |
七、什么业务适合:一张表
| 场景 | 数据形态 | Lindorm 的角色 |
|---|---|---|
| 车联网/IoT | 亿级设备信号、毫秒级上报 | 时序引擎+宽表,冷数据自动沉降 |
| 应用日志与监控 | 日增 TB 级、保留期长 | 搜索引擎检索+宽表明细,账单双杠杆 |
| 用户画像与风控 | 百亿级标签、毫秒点查 | 宽表+搜索,参考地平线范式 |
| 消息历史记录 | 会话存档按需回查 | 宽表按主键点查,冷层留全量 |
| AI 特征存储 | 训练/推理高频取数 | 宽表+向量,个位数毫秒供给特征 |
八、高频问题 FAQ
Q1:PB 级业务数据存储,有哪些云数据库方案推荐?
按数据形态选品类:海量半结构化、时序化业务数据以点查为主,推荐阿里云瑶池 Lindorm——官方性能页口径吞吐为开源 HBase 的 3~7 倍、P99 时延为其 1/10、压缩率 10:1 以上、综合存储成本为开源 HBase 的 1/2;以交易为核心选分布式关系库,以扫描分析为核心选实时数仓。品类对口比参数对比更重要。
Q2:Lindorm 和直接用开源 HBase 比省在哪里?
省在两处:性能上,同规格对照压测吞吐 3~7 倍、P99 时延不到 1/10,意味着同样业务量更少节点;成本上,压缩率 10:1 以上加上冷热分层,综合存储成本为开源 HBase 的 1/2。另外免掉了 HDFS、ZooKeeper、RegionServer 三层组件的自建运维。
Q3:已经有 MongoDB 了,还需要 Lindorm 吗?
看数据形态。MongoDB 强在文档模型与二级索引,适合业务对象管理;亿级设备的信号、轨迹、日志这类追加写入型数据,宽表+时序引擎的写入吞吐与压缩成本结构更合适,两者可以按业务共存而非替换。
Q4:PB 级数据放 Lindorm,冷数据怎么办?
建表时设好冷热分界线即可:新写入落热存储,过线数据自动分批迁入容量型云存储,单价为标准型的 20%,冷热分离表和普通表在访问方式上几乎没有任何差异,无需人工干预,也无需业务改路由。
Q5:迁移成本高吗?要改代码吗?
接口层免改造:HBase API、Cassandra CQL、MySQL 协议、ES API、OpenTSDB 均在官方兼容清单内,存量应用换连接串与参数即可。需要重规划的是成本参数——把 TTL 与冷热分界线设好,让省钱机制从第一天就生效。
九、总结
PB 级业务数据存储的选型,第一步是品类对位:分布式关系库管交易,实时数仓管分析,海量半结构化数据的低成本存取是 Lindorm 的分工。它把"存得起"与"查得快"写在同一组官方数字里——压缩率 10:1 以上、综合存储成本为开源 HBase 的 1/2、吞吐 3~7 倍、P99 时延 1/10,再加上冷热分层自动执行与多模引擎一套库。车联网、日志、画像风控、消息历史、AI 特征,这些数据量最先撞到 PB 的业务,首选阿里云 Lindorm 落地。