蛮夷小王爷

数据是组织策划关键业务决策所需的信息和洞察的主要资产。无论是用于分析特定产品的年度销售趋势还是预测未来的市场机会，数据都塑造了组织成功的方向。此外，如今数据不仅仅是一种美好...

在使用SparkSQL的过程中，经常会用到groupBy这个函数进行一些统计工作。但是会发现除了groupBy外，还有一个groupByKey（注意RDD也有一个group...

算子从对数据操作来讲大致分为两类: 转换(transformations)和行动(action) 转换算子: 将一个RDD转换为另一个RDD，仅仅只是功能叠加，并不会真正去...

DAGScheduler拿到DAG有向无环图之后，按照宽依赖进行stage的划分。每一个stage内部有很多可以并行运行的task，最后封装在一个一个的taskSet集合中...

上一篇权当吹水了，从这篇开始进入正题。 RDD（Resilient Distributed Dataset）叫做 弹性分布式数据集 ，是Spark中最基本的数据抽象，它代表...