Spark
3篇文章 · 0订阅
  • Spark SQL学习——UDF、UDAF和开窗函数
    SparkSQL中的UDF相当于是1进1出，UDAF相当于是多进一出，类似于聚合函数。 开窗函数一般分组取topn时常用。 new UDF1<String,Integer>()这些参数需要对应，UDF2就是表示传两个参数，UDF3就是传三个参数。例如new UDF2<Strin…
    Spark
  • Spark学习——内存管理
    1. 概述 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探…
    Spark
  • 浅析 Spark Shuffle 内存使用
    在使用 Spark 进行计算时，我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况，而且很大一部分情况是发生在 Shuffle 阶段。那么在 Spark Shuffle 中具体是哪些地方会使用比较多的内存而有可能导致 OOM 呢？ 为此，本文将围绕以上…
    Apache Flume