Spark
3篇文章 · 0订阅
  • Spark API 全集(1):Spark SQL Dataset & DataFrame API
    DataFrame是Dataset[Row]的别名。 本文基于spark2.3.0. 下面是类方法简介。 返回类型为DataFrame而不是Dataset。
    Spark
  • Spark性能优化 -- > Spark SQL、DataFrame、Dataset
    本文将详细分析和总结Spark SQL及其DataFrame、Dataset的相关原理和优化过程。Spark SQL是Spark中 具有 大规模关系查询的结构化数据处理 模块（spark核心组件：spark sql，spark streaming，spark mllib，spar...
    后端
  • Spark SQL学习——DataFrame和DataSet
    我们知道，RDD是spark早期很重要的一个概念，是数据的immutable distributed的集合，由不同节点上的partition组成。DataFrame和RDD类似，也是数据的不可变分布式集合。不同的是，数据被组织成带名字的列，就像关系型数据库中的表。是一种有结构的…
    Spark