爱学习

使用过NAS(Network Attached Storage)的朋友都知道，它可以通过局域网将本地硬盘转换为局域网内的“网盘”，简单理解就是搭建自己的“私有云”，但是硬件...

上文简单的了解了airflow的概念与使用场景，今天就通过Docker安装一下Airflow,在使用中在深入的了解一下airflow有哪些具体的功能。 Airflow容器化...

Airflow是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在ApacheSoftwareFoundation孵化。AirFlow将workflow...

airflow已经成为了任务编排系统的事实标准，使用和terraform一样的代码及配置的任务开发方式。 airflow使用python作为开发语言，非常简单易学、容易上手...

新闻信息是通过爬虫获取，使用scrapy框架进行爬虫任务；使用airflow工作流监控平台对爬虫任务进行管理、监控（可使用CeleryExecutor分布式，也可使用Loc...

编写DAG文件需要保证在集群每个节点都要同步,因为每个worker都是从本地进行读取执行的, 不像oozie那样上传到HDFS. scheduler仅仅是发送一条要执行哪个...

任务管理界面 (WEB) 支持在 WEB 界面 中对任务进行管理，例如：新增任务、编辑任务、启用/禁用任务、手动执行任务 等。 任务的属性包括： 任务名称 执行方式 SHE...

Go 语言中使用比较广泛 ORM 框架是 gorm 和 xorm。自己在实现过程，参考了他们的实现原理，同时也参考了【极客兔兔GeeORM】的实现方式，比如关键词SQL语句...

近期，由于某种原因，让我这边再次关注到服务器身上。在我们的服务器中，本身是使用 nginx 作为 web 服务器的，虽然 nginx 本身支持限流和 ip 限制设置，但在动...

中台的概念大概就是把一个一个的app 统一起来，反正我是这样理解的。 先聊用户服务吧，现在一个公司有很多的公众号，小程序，微信的，支付宝的，还有xxx xxx ,很多的平台...