Apache DolphinScheduler

每个人对于”开源社区“的定义都不一样，在社区的想法也完全不一样，我认为玩开源就像”谈恋爱“，要想方设法对它好，在接触 Apache DolphinScheduler 社区之后，我从”非技术“的视角真真

主要介绍了 BIGO 如何使用 DophinScheduler 来调度以 Spark 为主的多种类型的离线任务，以及为了满足业务需求、提升用户使用体验，在 DS 和 Spark 上所做的各种改进。

惊喜：文末有插件推荐，随着大数据的进一步发展，不管是离线任务量还是实时任务量都变得越来越多，对调度系统的要求也越来越高，不仅要求系统稳定还要求操作简单，上手方便。

对于千亿级数据量的数据同步需求，进行分析和选型后，最终决定使用DolphinScheduler进行任务调度，并周期调度 DataX、SparkSQL 等方式进行海量数据迁移。

点亮 ⭐️ Star · 照亮开源之路 GitHub:https://github.com/apache/dolphinscheduler ​ 版本发布 感谢本次的 Release Manager -

​ 作者简介 ​ 淡丹 数仓开发工程师 5年数仓开发经验，目前主要负责百得利MOBY新车业务 二手车业务及售后服务业务系统数仓建设 业务需求 在ETL任务之间调度时，我们有的时候会需要将上游的计算结果

点亮 ⭐️ Star · 照亮开源之路 https://github.com/apache/dolphinscheduler 本文目录 1 DolphinScheduler的设计与策略 1.1 分布式

Apache DolphinScheduler 和 Apache RocketMQ 社区即将联合举办线上 Meetup 活动，活动中，工作流任务调度和消息队列产品中的领先者，同时身为国内两个为

点亮 ⭐️ Star · 照亮开源之路 GitHub:https://github.com/apache/dolphinscheduler ​ 参与开源已经快3年了，这次在Meetup上没有分享纯技术

目前在大数据生态中，调度系统是不可或缺的一个重要组件。Apache DolphinScheduler 作为一个顶级的Apache 项目，其稳定性和易用性也可以说是名列前茅的。

此次 Apache DolphinScheduler 2月首秀将于 2 月 26 日下午 14:00 准时开播，大家别忘了扫码预约哦~

千呼万唤中，WorkflowAsCode 功能终于在 2.0.2 版本中如约上线，为有动态、批量创建和更新工作流需求的用户带来福音。

在广大用户和开源社区的喜爱和支持下，云原生分布式大数据调度系统Apache DolphinScheduler获评2021年度「OSCHINA 人气指数 Top 50 开源项目」和「最受欢迎项目」。

我是开源社区的新手，下面是我对开源的思考，以及我的开源入坑之路。如果你没有开源经验，想了解开源，想知道如何参与开源，或许我的经历能给你带来一点启发。