蛮夷小王爷

数据是组织策划关键业务决策所需的信息和洞察的主要资产。无论是用于分析特定产品的年度销售趋势还是预测未来的市场机会，数据都塑造了组织成功的方向。此外，如今数据不仅仅是一种美好的附加条件，而且是一种必需，

在使用SparkSQL的过程中，经常会用到groupBy这个函数进行一些统计工作。但是会发现除了groupBy外，还有一个groupByKey（注意RDD也有一个groupByKey，而这里的grou

算子从对数据操作来讲大致分为两类: 转换(transformations)和行动(action) 转换算子: 将一个RDD转换为另一个RDD，仅仅只是功能叠加，并不会真正去执行。（装饰者设计模式）

DAGScheduler拿到DAG有向无环图之后，按照宽依赖进行stage的划分。每一个stage内部有很多可以并行运行的task，最后封装在一个一个的taskSet集合中，然后把taskSet发送给TaskScheduler TaskScheduler得到taskSet集合之…

上一篇权当吹水了，从这篇开始进入正题。 RDD（Resilient Distributed Dataset）叫做 弹性分布式数据集 ，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合. 一个分区（Partition）列表，组成了该RDD的数据…

Spark的知识点很多，决定分多P来慢慢讲🤣，比较关键的RDD算子其实已经写了大半，奈何内容还是太多了就不和这篇扯皮的放一起了。 spark是在Hadoop基础上的改进，是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用的并行计算…

Zuul是Netflix开源的一个API网关，本质上是一个Web Servlet应用。Zuul也是Spring Cloud全家桶中一员，可以和Eureka、Ribbon、Hystrix等组件配合使用。

如今的内容型产品，不管提供的是什么类型的内容，在其主功能之外，不可避免的会有另一个十分重要的功能——消息中心。 而无论是信息流、论坛、信箱，还是私聊、群聊、通知，推拉模型是内容型（包括：社交型）产品架

在linux下开发时，如果程序突然崩溃了，也没有任何日志。这时可以查看core文件。从core文件中分析原因，通过gdb看出程序挂在哪里，分析前后的变量，找出问题的原因。 当程序运行的过程中异常终止或崩溃，操作系统会将程序当时的内存状态记录下来，保存在一个文件中，这种行为就叫做…