弈超

提前先祝大家春节快乐！好了，先简单聊聊。 我从事的是大数据开发相关的工作，主要负责的是大数据计算这块的内容。最近Hive集群跑任务总是会出现Thrift连接HS2相关问题，研究了解了下内部原理，突然来了兴趣，就想着自己也实现一个RPC框架，这样可以让自己在设计与实现RPC框架过…

1. Arthas是什么？ 大意为：Arthas是阿里开源的一个Java诊断工具，可以帮助开发人员在不修改代码或重启服务器的情况下快速定位线上问题。 听起来确实是我们的程序员的一大福利。比如，我们就遇到一种情况，Spring Boot应用中有个cron定时任务为每天凌晨1点启动…

真的是想不通，Airflow不论社区活跃度还是Github的star数都是远胜于Azkaban还有EasyScheduler的，但是为何却连一个完备的安装教程都没有呢？是我的需求太高？真的是心累不已，整整把搜索引擎还有youtube翻来覆去也没让我感到满足……不过好在，一步一坑…

分布式系统可能运行在一个集群上，也可能运行在不属于一个集群的多台（2台也算是多台）机器上。 Airflow是Airbnb开源的一个用Python编写的调度工具。 概要：DAG（Directed Acyclic Graph）是有向无环图，也称为有向无循环图。在Airflow中，一…

不了解的数据仓库基本概念的，可以参考之前《了解一下数据仓库》这篇文章。

数据库是长期存储在计算机内、有组织的、可共享的数据集合。数据库中的数据指的是以一定的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享 数据仓库是面向主题的，集成的，相对稳定的，反映历史变化的数据集合，用于支持管…

大学最重要的事情应该是锻炼自学的能力、培养自律的心性。 工作后，最重要的事情应该是执行力MAX的可靠性以及严谨处事的态度。 似乎每件事都会有专门的目标性。 然而，工作久了，难免会“学会偷懒”……

从上述架构图我们知道，MasterServer进行任务的生成，放至Task Queue中，WorkerServer从Task Queue中消费任务进行执行。 其次，EasyScheduler有一配置特性，如果当前结点CPU或者内存达到了80%以上，则不会进行新的任务的调度和执行…

0. 背景 不论是单体应用还是分布式应用，总是会有些许迭代或者紧急Fix bug上线的神操作。但是如果不是那么幸运，当时还存在大量核心内存中数据在进行计算等逻辑，此时终止项目，就会出现核心数据或者状态丢失的不利情况，后续即使上线完成也要尽快追加数据。 我们可以借助于JDK为我们…