fy6240

赞

3

|

搜索文章

赞

文章( 3 ) 沸点( 0 )

从源码解密spark内存管理

spark内存里都装的啥 jvm语言如何管理内存

曾政人工治不能
6年前
181
3
评论

Spark 之算子调优（一）

、算子调优一：mapPartitions 普通的map算子对RDD中的每一个元素进行操作，而mapPartitions算子对RDD中每一个分区进行操作。如果是普通的map算子，假设一个partit

摸鱼专家
4年前
7.5k
142
评论

Spark学习——内存管理

1. 概述 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探…

Hiway
6年前
817
1
评论

个人成就

文章被阅读 122

加入于

2022-03-05