简介： 王峰 阿里巴巴开源委员会大数据AI领域副主席 阿里云开源大数据平台负责人 Flink中文社区发起人
以下为开发者社区「开源人说」第四期——大数据&AI专场的主题分享，点击链接了解更多精彩详情👇
developer.aliyun.com/live/250636
近日，阿里云向Apache孵化器捐赠了Celeborn项目（原EMR Remote Shuffle Service项目 ），这也是第一个诞生在阿里云上的Apache孵化项目。阿里云的开源大数据平台EMR能够支持在阿里云上运行业界主流的开源大数据组件，比如Hadoop、Spark、Flink、Kafka等，在云上提供了一套非常低门槛、易用的开源大数据全家桶服务。
云原生架构和理念也在不断强化、推行，比如存算分离架构等都是云上特有的架构属性。在此技术背景之下，我们发现在Hive、Spark 、Flink 等都有数据 shuffle 的需求。因此，阿里云提供了Remote Shuffle Service，用一套数据Shuffle来支持所有大数据计算引擎。
这就是云带来变化，云与开源结合后产生了化学反应。Remote Shuffle Service项目诞生后，又吸引了以小米、网易为代表的多家公司参与共建，最终于2021年12月开源。为了让更多公司参与共建，让项目产生更大的影响力，我们决定将其捐献给Apache基金会，从孵化器项目起步，也希望能够成为Apache的顶级项目。
云提供了弹性资源，用户能够非以常大的自由度运行业务、发挥算力，运行数字业务、做数据分析、做数据库、做 AI 、SaaS、PaaS等业务都在云上轻松展开。而运行开源软件需要准备很多环境，需要有硬件，也需要做参数配置，存在一定门槛。
云的出现推动了开源的兴起，因为在云上可以更轻松地获得资源，云弹性满足了按量使用、按需购买的需求，因此也可以轻松部署开源软件。云成为了开源软件的运行底座。比如，使用EMR可以在3分钟内创建100个节点集群，可以Hadoop、Spark、Flink 、Kafka 等主流开源组件，可以轻松实现运维、部署、管控、监控、使用、开发等一整套链路。
云使得开源软件的运行更加普适化，云与开源的关系也推动了整个数字经济和数字化转型的发展。另外，云上能够提供PAI DSW一致的Notebook开发体验。云也为开源提供了很好商业模式，通过开源让更多人受益。同时，通过开源构建自己的商业模式，得到更多资源去反哺开源社区，形成正向循环。总之，在云上运行开源软件、提供开源软件商业化服务等，能够让云与开源结合得更好，也让开源运行得更好。
阿里巴巴为开源提供了巨大支持，拥有开源项目3000+，超过 3 万个外部 contributor ，与超过100 个开源社区合作共建，共同推进开源项目、开源文化在业界的发展。
（上图均为生于云、长于云的开源项目）
阿里灵杰AI开源家族全栈采用开源风格，在不同行业、领域已经实现了诸多落地，比如音视频领域、自动驾驶领域、搜索推荐领域、OCR文字识别、金融量化、城市大脑的交通智能调度等。
最核心工程平台PAI 机器学习平台也积极拥抱开源技术，完全兼容了业界主流的TensorFlow、PyTouch等国际标准以及PaddlePaddle、MindSpore、OneFlow 等国内主流的AI框架 。同时，我们也实现了非常多优化，包括Deep系列、Blade 系列编译优化、 AI 算法优化、算法框架优化、 AI 引擎优化、 AI 编译优化，很多优化也进行了全面开源。阿里的 AI 链路从底层基础平台到上层应用，全部以开源技术栈运行，全程践行开源文化。
Flink已经成为实时计算的标准，国内各个互联网公司、金融公司、传统行业公司都已大量使用Flink 做实时流计算分析，也有很多海外公司采用了Apache Flink 做实时分析。
2015年，淘宝面临了极大的数据挑战，用户对购物体验不断提出新的要求，比如商品/价格需要实时更新、个性化排序模型/推荐模型需要实时更新，尤其在双 11 当天，运营策略变化非常快，需要根据用户反馈和市场变化实时调度，统计实时交易额做运营策略的调整。因此，阿里需要一个自己的实时大数据引擎。经过全面考虑，我们决定拥抱开源社区，用开源理念来构建下一代实时大数据计算平台。最终，我们选择了在Apache初出茅庐的 Flink 作为未来几年的核心技术基石。
2017年，我们继续坚定地拥抱开源，将原先阿里巴巴内部的JStorm、Blink和Galaxy统一到开源项目里，基于 Flink 来做未来的实时计算核心引擎。此后，阿里巴巴所有实时大数据分析、流式大数据分析都围绕着 Flink 来建设，也在 2017 年逐步统一了全集团的实时计算，基于 Flink 社区加大投入，并在 18 年将我们全面积累的能力上云，在云上提供基于 Flink 的大数据服务。
我们从 2016 年开始投入到社区建设，2017 年、2018年分别在欧洲、美国参加 Flink 社区大会，不断推动 Flink 社区在中国的成长。2019年，阿里巴巴全面收购了Flink背后的商业公司，全力支持社区发展。经过 2020-2021 这两年的持续投入，阿里巴巴在中国举办了将近 100 场线上线下的 Flink MeetUp 以及Flink Forward 大会，投入了大量人力、物力和精力。阿里始终坚定地、完全不考虑商业化、不考虑回报地推动Flink，使其成为了Apache社区中名列前茅的项目。更重要的，这几年努力的成果也离不开背后有的开源爱好者、开源文化践行者的推动。
目前，Flink社区全球开发者超1500人，3年增长1倍；GitHub Stars数近2万，3年增长3倍，处于社区top地位。
得益于阿里巴巴的持续投入， Flink 的关键指标在社区达到了 top 1 或 top 2 的位置。坚定地对开源进行投入，也验证了中国团队在国际项目中能够发挥价值，这是非常值得骄傲的一件事。
Flink社区经过持续演进和技术创新，从最早只有Java API到推出了SQL API，让开发更简洁，门槛更低，更多人能够使用；后陆续推出了 CDC，能够更好地做数据集成；推出了Flink ML，与机器学习进行更好的合作配合；推出了table store 做流批体数据存储，也正在构建下一代流式数仓架构。
阿里巴巴毫无保留地将自己的技术创新完全开源到社区，惠及更多开发者，也希望吸引更多开发者一起推动社区发展。
灵杰体系是 AI 的开源代表，Flink 是大数据的开源代表，而 SREWorks 项目是积累了超过 10 年的大数据和 AI 运维能力的沉淀，目前也已开源。SREWorks 可以提供一站式运维服务套件管理，交付、运维、管理、监控、运营、数据资产等能力都可以通过 SREWorks 开源项目实现。
众多开源项目的背后是一群对开源有着巨大热情的员工、开发者，我们有着无限的激情，我们会有定期的开源技术分享，包括机器学习团队、大数据团队、欧美团队等进行国际化跨团队交流，有社区 meetup ，与不同公司进行交流，这也是开源项目能够完美落地的保证。
目前，我们的团队已经参与贡献了10+Apache顶级开源项目，培养出了 50 多名顶级开源项Committer、PMC，贡献开源代码150万+行。团队小伙伴们真正将自己工作中的积累、技术上的积累贡献到开源社区，提供给更多公司、更多企业去使用。也希望有更多人加入我们，共建开源社区。
原文链接：click.aliyun.com/m/100036425…
本文为阿里云原创内容，未经允许不得转载。
