稀土掘金 稀土掘金
    • 首页
    • AI Coding NEW
    • 沸点
    • 课程
    • 直播
    • 活动
    • AI刷题
      • APP
      插件
      • 搜索历史 清空
        • 写文章
        • 发沸点
        • 写笔记
        • 写代码
        • 草稿箱
        创作灵感 查看更多
    • vip
      会员
用户5378614871600的个人资料头像

用户5378614871600

掘友等级
掘友3级：新星掘友
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
3
文章 3 沸点 0
赞
3
返回
|
搜索文章
赞
文章( 3 ) 沸点( 0 )
  • PySpark基础入门（7）：Spark SQL
    SparkSQL 是Spark的一个模块, 用于处理海量结构化数据；PySpark使用DataFrame进行数据抽象，是一个二维表数据结构，适用于分布式集合
    • WHY6666
    • 2年前
    • 344
    • 2
    • 评论
    Python Spark 大数据
  • PySpark基础入门（6）：Spark Shuffle
    Shuffle是连接map和reduce之间的桥梁，它将map的输出对应到reduce输入中，涉及到序列化反序列化、跨节点网络IO以及磁盘读写IO等
    • WHY6666
    • 2年前
    • 828
    • 3
    • 评论
    Spark 大数据 Python
  • PySpark基础入门（5）：Spark 内核调度
    Spark任务调度：如何组织任务去处理RDD中每个分区的数据，根据RDD的依赖关系构建DAG，基于DAG划分Stage，将每个Stage中的任务发到指定节点运行
    • WHY6666
    • 2年前
    • 246
    • 2
    • 评论
    大数据 Spark Python
    • 关注了
    7
    关注者
    0
    收藏集
    0
    关注标签
    11
    加入于
    2022-11-02