爱学习

使用过NAS(Network Attached Storage)的朋友都知道，它可以通过局域网将本地硬盘转换为局域网内的“网盘”，简单理解就是搭建自己的“私有云”，但是硬件和网络成本都太高了

上文简单的了解了airflow的概念与使用场景，今天就通过Docker安装一下Airflow,在使用中在深入的了解一下airflow有哪些具体的功能。 Airflow容器化部署 阿里云的宿主机环境：

Airflow是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在ApacheSoftwareFoundation孵化。AirFlow将workflow编排为tasks组成的DAG

airflow已经成为了任务编排系统的事实标准，使用和terraform一样的代码及配置的任务开发方式。 airflow使用python作为开发语言，非常简单易学、容易上手。 这个dag文件就是用来定义任务和任务之间的先后、依赖关系的。

新闻信息是通过爬虫获取，使用scrapy框架进行爬虫任务；使用airflow工作流监控平台对爬虫任务进行管理、监控（可使用CeleryExecutor分布式，也可使用LocalExecutor多进程进行数据采集）。以下主要是对airflow的安装和配置。 目前使用的系统环境为C…

编写DAG文件需要保证在集群每个节点都要同步,因为每个worker都是从本地进行读取执行的, 不像oozie那样上传到HDFS. scheduler仅仅是发送一条要执行哪个DAG下的哪个Task的命令到Queue Broker下, 然后worker再根据命令去指定指定的那个Ta…

任务管理界面 (WEB) 支持在 WEB 界面 中对任务进行管理，例如：新增任务、编辑任务、启用/禁用任务、手动执行任务 等。 任务的属性包括： 任务名称 执行方式 SHELL HTTP 表达式（*/

Go 语言中使用比较广泛 ORM 框架是 gorm 和 xorm。自己在实现过程，参考了他们的实现原理，同时也参考了【极客兔兔GeeORM】的实现方式，比如关键词SQL语句的封装和事务实现，就是借鉴【GeeORM】的实现方式。 在TORM中提供了条件组件库，让用户来进行选择对应…

近期，由于某种原因，让我这边再次关注到服务器身上。在我们的服务器中，本身是使用 nginx 作为 web 服务器的，虽然 nginx 本身支持限流和 ip 限制设置，但在动态设置黑名单中，nginx 这边本身是做不了。这时候，就可以使用到 OpenResty 了。 至此，关于 …