用户5378614871600

赞

3

|

搜索文章

关注了

关注了

赞了这篇文章

2年前

PySpark基础入门（7）：Spark SQL

SparkSQL 是Spark的一个模块, 用于处理海量结构化数据；PySpark使用DataFrame进行数据抽象，是一个二维表数据结构，适用于分布式集合...

2

评论

赞了这篇文章

2年前

PySpark基础入门（6）：Spark Shuffle

Shuffle是连接map和reduce之间的桥梁，它将map的输出对应到reduce输入中，涉及到序列化反序列化、跨节点网络IO以及磁盘读写IO等...

3

评论

赞了这篇文章

2年前

PySpark基础入门（5）：Spark 内核调度

Spark任务调度：如何组织任务去处理RDD中每个分区的数据，根据RDD的依赖关系构建DAG，基于DAG划分Stage，将每个Stage中的任务发到指定节点运行...

2

评论

关注了

关注了

关注了

关注了

关注了

加入于

2022-11-02