弈超

大学最重要的事情应该是锻炼自学的能力、培养自律的心性。 工作后，最重要的事情应该是执行力MAX的可靠性以及严谨处事的态度。 似乎每件事都会有专门的目标性。 然而，工作久了，难免会“学会偷懒”……

开始前，扯些许的题外话。我们经常会看到一些类似于初、中、高级软件工程师的区别的文章，觉得高级会如何，初中级又会如何，我们此次就不区分title，而是通过经验丰富与否、考虑问题是否全面、做事是否稳重来展开。 有这样一个需求，我们需要在国内WEB端新增的事件数据，不仅要写入国内的R…

简要描述：数仓WEB端进行新增事件后，会注入Redis中进行缓存，供给动参服务进行响应各端SDK的请求。 下午，发现海内外redis中存储的事件数据中仅有停用事件，而没有启用事件数据，以为是个bug，然后找数据负责人、动参负责人以及产品等进行确认，对比数据及综合意见后统一归咎为…

从上述架构图我们知道，MasterServer进行任务的生成，放至Task Queue中，WorkerServer从Task Queue中消费任务进行执行。 其次，EasyScheduler有一配置特性，如果当前结点CPU或者内存达到了80%以上，则不会进行新的任务的调度和执行…

然而，从v1.0.3升级到v1.1.0完全是按照https://dolphinscheduler.apache.org/en-us/docs/release/upgrade.html官方手册进行操作的，所以操作步骤肯定没有问题。 经过和EasyScheduler负责人沟通后，确…

做完了KingSight的交接工作，只身走向DW（数仓）。 的邮件发送到了高级技术总监、行政经理、项目经理的邮箱。和Rain等进行沟通后，很感谢各位领导对我的支持和帮助下，让我能够在2018年7月10号快速办理完离职手续。 2018年7月11号就入职了金山，成为了WPS大数据部…

分布式系统可能运行在一个集群上，也可能运行在不属于一个集群的多台（2台也算是多台）机器上。 Airflow是Airbnb开源的一个用Python编写的调度工具。 概要：DAG（Directed Acyclic Graph）是有向无环图，也称为有向无循环图。在Airflow中，一…

真的是想不通，Airflow不论社区活跃度还是Github的star数都是远胜于Azkaban还有EasyScheduler的，但是为何却连一个完备的安装教程都没有呢？是我的需求太高？真的是心累不已，整整把搜索引擎还有youtube翻来覆去也没让我感到满足……不过好在，一步一坑…

如何对数仓进行建模，点击链接前往