在数字化浪潮席卷全球的今天,城商行正面临着日益严峻的数据处理挑战。传统的大数据平台架构逐渐暴露出性能瓶颈与管理难题,难以支撑金融业务的快速发展和智能化转型。在此背景下,某城商行选择与星环科技合作,成功对其大数据平台进行了重构升级。
业务挑战:开源架构的局限性日益凸显
该城商行原大数据平台基于CDH搭建,并辅以多套ES小集群。随着业务量的增长,这套开源架构的局限性日益凸显,主要体现在以下几个方面:
资源调配:多个分散的集群导致资源无法统一调度和优化,利用率低下。
性能优化:面对复杂的业务查询和批处理任务,平台性能已达瓶颈,难以进一步提升。
权限管控:跨平台的权限管理体系复杂,存在安全隐患,且难以实现精细化控制。
组件版本:各组件版本不一,兼容性问题频发,增加了技术维护的复杂性。
开发变更:多平台架构导致开发和变更流程繁琐,迭代周期长,无法快速响应业务需求。
运维监控:缺乏统一的监控和告警体系,故障排查难度大,系统稳定性无法保障。
这些问题已严重制约了业务发展,无法满足银行业务对大数据集群高性能和高稳定性的核心需求,平台升级迫在眉睫。
解决方案:构建统一、高效的企业级大数据底座
面对挑战,该城商行最终决定采用星环科技的解决方案,对现有平台进行全面重构。具体方案为:采用星环科技大数据基础平台TDH替换原有的CDH平台,同时采用星环分布式搜索引擎Scope统一替换原有的多套ES小集群。这一统一架构打破原有系统的技术壁垒,从根源上应对资源调配分散、权限管控复杂以及运维监控等核心挑战,构建一个高效、稳定、可扩展的企业级统一大数据底座,并在此基础上建立起统一的开发和运维体系。
平滑迁移:保障业务连续性
在项目实施过程中,星环科技团队与该城商行紧密合作,确保了整个迁移过程的平稳顺畅。本次升级成功迁移了数万张总表和PB级的海量数据,并完成了对30多个下游应用作业的无缝对接与改造,业务场景全面覆盖了企业知识平台、CRM、运营风险监控、BDP等多个核心系统。整个过程在完全兼容原有技术栈的同时,有力地保障了业务连续性和数据一致性。
另外,新平台全面兼容国产软硬件生态,为该行长远的技术战略布局提供了安全保障,为未来的全面信创奠定了坚实基础。
成果与价值:数据驱动业务增长
升级后的新平台在性能和效率方面取得了显著成效,为银行业务的增长注入了强大的数据动力。
Scope实现搜索效率指数级提升
- 资源利用率提升100%:相较于原有分散的ES小集群,Scope统一集群大幅提升了资源使用效率。
- 数据接入效率翻倍:数据处理和接入的速度实现了成倍增长。
TDH加速核心银行业务分析
- 计算性能提升33%:计算性能的显著增强,该城商行关键的日终报表生成、风险分析等任务得以提速,从而稳定满足了过去一度面临风险的业务SLA。
- 跑批时间大幅缩短:核心批处理任务的执行时间显著减少,充分满足了银行业务的高性能需求。
核心产品介绍
星环科技大数据基础平台TDH
星环科技大数据基础平台Transwarp Data Hub(简称“TDH”)是星环科技自主研发的企业级一站式大数据基础平台。能够实现PB-EB级、多源、异构数据的快速存取、统一管理和高效计算。TDH被广泛应用于离线数据批处理、OLAP、实时数据处理、高并发在线数据服务、向量检索、图计算、时序数据分析等各类大数据业务场景,不仅能一站式满足传统和实时数据服务需求,还能为AI大模型提供高质量的多模型数据,加速数据与AI的深度融合。
星环分布式搜索引擎-Transwarp Scope
Transwarp Scope是星环科技自主研发的企业级交互式数据检索统计分析平台。产品覆盖模糊匹配、精确查询、多维检索等各类场景,支持高并发和毫秒级低延时检索业务。同时,平台提供混合负载支持和高可用能力,保障复杂查询场景下的业务连续性。通过Scope,可以轻松管理和检索PB级业务数据,满足多样化的数据检索需求。