spark
3篇文章 · 0订阅
  • Spark实现行列转换pivot和unpivot
    做过数据清洗ETL工作的都知道，行列转换是一个常见的数据整理需求。在不同的编程语言中有不同的实现方法，比如SQL中使用case+group，或者Power BI的M语言中用拖放组件实现。今天正好需要在pyspark中处理一个数据行列转换，就把这个方法记录下来。 首先明确一下啥叫…
    Spark 后端 SQL
  • Spark 系列（十）—— Spark SQL 外部数据源
    Spark 支持以下六个核心数据源，同时 Spark 社区还提供了多达上百种数据源的读取方式，能够满足绝大部分使用场景。 CSV 是一种常见的文本文件格式，其中每一行表示一条记录，记录中的每个字段用逗号分隔。 为节省主文篇幅，所有读写配置项见文末 9.1 小节。 需要注意的是：…
    Spark
  • spark入门笔记
    用户编写的Spark程序，通过一个有main方法的类执行,完成一个计算任务的处理。它是由一个Driver程序和一组运行于Spark集群上的Executor组成 弹性分布式数据集。RDD是Spark的核心数据结构，可以通过一系列算子进行操作。当RDD遇到Action算子时，将之前…
    Spark