大数据
2篇文章 · 0订阅
  • Spark 系列（十）—— Spark SQL 外部数据源
    Spark 支持以下六个核心数据源，同时 Spark 社区还提供了多达上百种数据源的读取方式，能够满足绝大部分使用场景。 CSV 是一种常见的文本文件格式，其中每一行表示一条记录，记录中的每个字段用逗号分隔。 为节省主文篇幅，所有读写配置项见文末 9.1 小节。 需要注意的是：…
    Spark
  • 一文读懂MapReduce
    Hadoop解决大规模数据分布式计算的方案是MapReduce。MapReduce既是一个编程模型，又是一个计算框架。也就是说，开发人员必须基于MapReduce编程模型进行编程开发，然后将程序通过MapReduce计算框架分发到Hadoop集群中运行。我们先看一下作为编程模型…
    大数据