微众银行开源:WeDataSphere 开源里程碑一站式开源大数据平台套件全面升级

390 阅读3分钟

李月喜:大厂杂谈及ToB Dev公众号主理人,本文来自大厂杂谈(关注大厂及大牛的开源项目及技术文章分享),欢迎大家关注我掘金号。

“大厂杂谈推荐:七年多的探索和实践, 微众银行打造了一套一站式、金融级、全连通、开源开放的大数据平台套件:WeDataSphere

图片


里程碑 | WeDataSphere 一站式开源大数据平台套件全面升级

WDS小助手,公众号:WeDataSphere里程碑 | WeDataSphere 一站式开源大数据平台套件全面升级

图片国家 2035 远景规划提出要加快全面数字化转型的步伐,而“大数据平台”是数字化转型的基础技术之一。对于任何企业来说,建立和维护一个大数据平台都不是一件容易的事情,而建设一个有特色的、完整易用的大数据平台,显然更是一件技术难度极高的事情。
经过七年多的探索和实践,微众银行打造了一套一站式、金融级、全连通、开源开放的大数据平台套件:WeDataSphere。 基础平台由数据交换、数据分发、计算、存储四大层次组成,关注底层数据传输计算存储能力;功能平台由平台工具、数据工具、应用工具三大层次组成,关注用户各类功能工具需求实现。形成了完整的大数据平台技术体系,提供一站式的丰富数据平台组件及功能支撑。
GitHub:github.com/WeBankFinTe…

图片

2019年开源以来,面向社区发布了 9 个开源组件,填补了业界 “开源体系化大数据平台套件”的空白,受到了各行业的广泛欢迎和采用。沙箱用户超 1,600 个,自建试用企业超 800 家,收到超 80 家企业投入生产的反馈,生产环境支撑的数据量达 400 PB,生产用户超 5,000 ,开源社区成员人数近 7,000 ;涉及金融、互联网、通信、制造、教育等众多行业。其中,计算中间件 Linkis 已进入国际开源基金会 Apache 孵化。
近期WeDataSphere的各大开源组件已经完成了全面升级,从性能、功能、易用性等各方面得到了提升,是个重要的里程碑时刻。那么接下来由小编给大家介绍各大开源组件的最新情况。

01 Apache Linkis(incubating) 计算中间件

github.com/apache/incu…

02 DataSphereStudio 一站式数据应用开发管理门户

github.com/WeBankFinTe…

03 Qualitis 数据质量管理平台

github.com/WeBankFinTe…

04 Schedulis 工作流任务调度系统

github.com/WeBankFinTe…

05 Exchangis 数据交换平台

github.com/WeBankFinTe…

06 Visualis 数据可视化工具

github.com/WeBankFinTe…

07 Prophecis 一站式机器学习平台

github.com/WeBankFinTe…

08 Streamis 流式应用开发管理系统

github.com/WeBankFinTe…

说明:Scriptis项目已经集成到DSS,可以直接使用

如果本篇文章对你有帮助
别忘了点赞、收藏、转发、评论 等支持我们
你的支持是我们更新的动力