spark
2篇文章 · 0订阅
  • 什么是 RDD ？
    Spark 中最基本的数据抽象是 RDD。 RDD：弹性分布式数据集 (Resilient Distributed DataSet)。 这三个特性分别为：分区，不可变，并行操作。 每一个 RDD 包含的数据被存储在系统的不同节点上。逻辑上我们可以将 RDD 理解成一个大的数组，…
    Spark
  • Spark 从零到开发（七）Spark SQL和DataFrame
    方式一和方式二最大的区别在哪呢，通俗点说就是获取字段类型的手段不同。 方式一通过java反射，但是要有javabean当字段模版。 方式二通过手动编码设置line的split对象的每个数据段的类型，不用创建javabean。