Spark核心 用户2665392113854 2022-01-10 99 阅读1分钟 Spark core是建立在统一的抽象RDD之上的,这使得Spark的各个组件可以随意集成,可以在同一个应用程序中使用不同的组件以完成复杂的大数据处理任务。本文主要讨论的内容有: 什么是RDD RDD的设计初衷 RDD的基本概念与主要特点 宽依赖与窄依赖 stage划分与作业调度 RDD操作算子 Transformations Actions 共享变量 广播变量 累加器 持久化 综合案例