Airbnb 是一个快速增长的、数据启示型的公司。我们的数据团队和数据量都在快速地增长，同时我们所面临的挑战的复杂性也在同步增长。我们正在扩张的数据工程师、数据科学家和分析师团队在使用 Airflow，它是我们搭建的一个可以快速推进工作，保持发展优势的平台，因为我们可以自己编辑…

最近工作任务需要把原来使用Kettle的ETL流程迁移到Hadoop平台上，就需要找一个替代Kettle工作流部分的工具。在大数据环境下，常用的无非是Oozie，Airflow或者Azkaban。经过简单的评估之后，我们选择了轻量化的Airflow作为我们的工作流工具。 Air…

仓库：https://github.com/apachecn/airflow-doc-zh 进度：https://github.com/apachecn/airflow-doc-zh/issues/1 贡献指南：https://github.com/apachecn/airfl…

在 Quizlet 的寻找最优工作流管理系统的第一部分和第二部分中，我们促进了现代商业实践中对工作流管理系统（WMS）的需求，并提供了一份希望获得的特性以及功能列表，这使得我们最后选择了 Apache Airflow 作为我们的 WMS 选择。这篇文章旨在给好奇的读者提供提供关…

最近在 Prettyyes 一直想建立起非常专业的 data pipeline 系统，然后没有很多时间，这几个礼拜正好 app 上线，有时间开始建立自己的 data pipeline，能够很好的做每天的数据导入，数据收集，以及数据分析。

分布式系统可能运行在一个集群上，也可能运行在不属于一个集群的多台（2台也算是多台）机器上。 Airflow是Airbnb开源的一个用Python编写的调度工具。 概要：DAG（Directed Acyclic Graph）是有向无环图，也称为有向无循环图。在Airflow中，一…