spark
2篇文章 · 0订阅
  • Structured Streaming入门
    在 Spark 2.0 中，有一些内置的 sources 。 以文件流的形式读取目录中写入的文件。支持的文件格式为 text ， csv ， json ， parquet 。文件必须以 atomically （原子方式）放置在给定的目录中 来自 Kafka 的 Poll 数据。…
    Spark
  • Spark 程序设计
    优点： 顺序读写能够大幅提高磁盘IO性能，不会产生过多小文件，降低文件缓存占用内存空间大小，提高内存使用率。 缺点：多了一次粗粒度的排序。 在spark安装目录下运行：jar cv0f spark-libs.jar -C jars/ . 创建RDD：val rdd = sc. …
    Spark