获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
6
赞
6
返回
|
搜索文章
最新 热门
  • Spark之内存管理MemoryManager及统一内存管理源码分析
    在Spark中，MemoryManager接口定义了Storage内存和Execution内存统一管理分配的公共方法。包括堆内以及堆外内存。 至于堆内内存onHeapStorageMemory和onHeapExecutionMemory这两个参数的大小值，与其具体实现Memor…
    • 5年前
    • 351
    • 2
    Spark
  • Spark Shuffler之SortShuffleManager实现及3种ShuffleWrite策略选择与源码分析
    在Spark的历史版本中，对于Shuffle Manager有两种实现。在1.2版本之前的Hash Base Shuffler，以及从1.2版本开始后的基于Sort Base Shuffler。至于Hash Base Shuffler，目前以及被移除，也不是本文重点。本文主要介…
    • 5年前
    • 1.5k
    • 评论
    Spark
  • 通过ClassLoader动态加载class文件
    1. ClassLoader与classpath ClassLoader：类加载器，在Java程序中用于实现类的加载动作，但是其作用远远不限于类加载。在Java中提供了3种ClassLoader分别用于加载不同的Jar包。 classpath：简单来说，classpath就是每…
    • 5年前
    • 4.6k
    • 评论
    Java
  • 比pgload更快更方便写入大数据量至Greenplum的Greenplum-Spark Connector
    Greenplum是目前比较优秀的mpp数据库，其官方推荐了几种将外部数据写入Greenplum方式，包含：通用的Jdbc，pgcopy和pgload以及Pivotal Greenplum-Spark Connector等。 Jdbc：Jdbc方式，写大数据量会很慢。 pgco…
    • 5年前
    • 1.1k
    • 2
    Spark
  • 线上内存泄漏引发OOM问题分析和解决
    长文预警。该文主要介绍因线上OOM而引发的问题定位、分析问题的原因、以及如何解决问题。在分析问题原因时候为了能更详细的呈现出引发问题的原因，去翻了hdfs 提供的Java Api主要的类FileSystem的部分代码。由于这部分源代码的分析实在是太太太长了，可以直接跳过看最后的…
    • 6年前
    • 3.4k
    • 1
    Java
  • 有关单链表存在环的相关面试问题
    有关单链表存在环相关的问题比较经典，也是在面试中容易被问到的问题。在讨论这些问题前先简要的介绍一下链表的概念。 单链表：单链表是一种链式存取的数据结构，用一组地址任意的存储单元存放线性表中的数据元素。每个结点的构成：元素(数据元素 的映象) + 指针(指示后继元素存储位置)，元…
    • 7年前
    • 885
    • 评论
    • 个人成就
    文章被点赞 28
    文章被阅读 11,884
    掘力值 242
    收藏集
    1
    关注标签
    136
    加入于