在数字化转型的深水区,企业数据资产的“冰山”之下,沉睡着海量的非结构化数据。对于 OPPO 这样业务遍及全球 50 多个国家、拥有数万名员工的科技巨头而言,设计图纸、研发文档、高清影音等非结构化数据占据了总量的 80%,且正以每年 80% 的速度爆发式增长。
如何高效管理这些 PB 级的数据资产,关乎研发效率、全球供应链协同以及核心资产安全。鸿翼战略客户副总监张琳深度分享了鸿翼与 TiDB 联合助力 OPPO 打造 PB 级文档管理平台的实战经验。OPPO 成功破解了海量非结构化数据的治理难题,为全球业务筑起了一套敏捷的数字底座。
当“传统网盘”成为全球业务的“减速带”
在项目初期,OPPO 面临着日益严峻的数据管理压力。随着全球用户超过 7 亿,企业内部产生的文件数量迅速攀升至 10 亿级别。传统的文档管理架构在应对如此庞大的体量时,逐渐成为了业务发展的瓶颈:
-
研发创新的摩擦力:“光靠一个文件名称,是没有办法快速得知的。”海量元数据(如版本、权限、索引)的检索迟滞,意味着研发人员需要花费大量时间寻找资料。目录加载甚至长达 2 分钟,直接拉低了数万名员工的办公效率。
-
全球协同的断点:OPPO 的研发、市场及售后部门遍布世界各地。跨国传输带宽资源有限,导致大文件(如售后 ROM 包)的分发效率难以保障,影响了全球业务的响应速度。同时,欧盟 GDPR 等区域性法律法规的合规要求,也给数据的跨境流动带来了严峻挑战。
-
核心资产的风险暴露:文件分发难以追踪、权限粒度不足,使得企业核心资产面临泄露风险。如何在保障数据安全的前提下,实现内外部的高效协作,成为了亟待解决的难题。
构建非结构化数据的“超级索引”
正如鸿翼战略客户副总监张琳所比喻的:“文档是图书馆里的书籍,存放在成本廉价的仓库中;而文档元数据则是图书馆的超级索引卡片系统。当书籍数量达到千亿级别时,必须拥有一个分布式的、可无限扩展的、能瞬间完成复杂检索的‘超级索引系统’来支撑业务的瞬间调取。”
为了解决上述痛点,OPPO 引入 TiDB 分布式数据库,对底层架构进行了彻底的重构。这一重构并非简单的数据库替换,而是基于“业务对象+元数据索引”的分层治理思想。
- 用弹性伸缩支撑业务爆发
OPPO 的数据增长曲线是陡峭的。传统 MySQL 架构的单机瓶颈限制了业务的扩展空间。TiDB 凭借其在线水平弹性扩展的能力,让 OPPO 能够从容应对从 10 亿到 50 亿文件量的平滑演进。业务部门不再需要担心数据库容量,也不再需要为了扩容而进行复杂的停机维护,实现了业务的“零感知”增长。
- “全球一张网”的架构布局
为了解决跨国协同难题,新架构采用了“总分结合”的全球化部署策略。
-
**总部:**部署核心 TiDB 集群,作为全球数据的“大脑”,统一管理所有元数据与核心文档。
-
海外节点:通过专线或云资源进行本地化部署,实现数据的就近存取与合规驻留。
-
价值点:这种架构既满足了集团层面“全球一张网”的统一管控需求,又通过 CDN 加速解决了跨国传输的效率问题,确保了全球供应链的实时协同。
- 权限模型的重构与解耦
针对海量文件权限判断导致的性能损耗,新系统将复杂的权限计算从数据库层面剥离,在内存中建立“权限树”。TiDB 负责底层元数据的强一致性存储,而计算层负责快速过滤。这种存算分离的设计思路,极大地释放了数据库压力,确保了高并发下的系统响应速度。
实战成效:PB 级数据的敏捷与安全
经过架构升级,OPPO 的文档管理平台不仅成功承载了 PB 级的数据体量,更将数据资产转化为业务增长的动力:
-
极致的业务响应:在 20 亿文件量、2TB 数据库大小的高压测试下,所有核心接口(如搜索、列表加载)响应时间均控制在 500ms 以内。这意味着,全球数万名员工拥有了一个“零等待”的研发协作环境。
-
刚性的合规防线:针对 GDPR 等合规要求,系统实现了基于 SCC 的跨境合规存储与传输层加密。配合“权限自助中心”与敏感操作实时提醒,构建了一道既灵活又严密的资产安全防线,保障了业务在全球市场的准入资格。
-
供应链效率跃升:新的平台深度集成了办公与即时通讯工具,实现了文件收发与协同编辑的无缝衔接。跨国研发资料和市场物料的传输速度大幅提升,真正实现了“全球协同,本地体验”。
结语
从 MySQL 到 TiDB,从单点存储到全球多活,通过 TiDB 提供的强大算力与无限扩展性,OPPO 成功将海量的非结构化数据转化为可管理、可检索、可增值的企业核心资产,更为未来企业知识沉淀与 AI 智能化应用储备了无限可能。