spark
5篇文章 · 0订阅
  • Spark 系列（九）—— Spark SQL 之 Structured API
    Spark 中所有功能的入口点是 SparkSession，可以使用 SparkSession.builder() 创建。创建后应用程序就可以从现有 RDD，Hive 表或 Spark 数据源创建 DataFrame。示例如下： 1. 由外部数据集创建 2. 由内部数据集创建 …
    Spark
  • Spark入门（四）--Spark的map、flatMap、mapToPair
    在上一节Spark经典的单词统计中，了解了几个RDD操作，包括flatMap，map，reduceByKey，以及后面简化的方案，countByValue。那么这一节将介绍更多常用的RDD操作，并且为每一种RDD我们分解来看其运作的情况。 flatMap，有着一对多的表现，输入…
    大数据
  • Hello Spark! | Spark，从入门到精通
    Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架，是专为大规模数据处理而设计的快速通用的大数据处理引擎及轻量级的大数据处理统一平台。 当我们在谈 Spark 的时候可能是指一个 Spark 应用程序，替代 Ma…
    Spark Hadoop Yarn
    Hello Spark! | Spark，从入门到精通
  • 【Spark 内核】 Spark 内核解析-下
    Spark内核泛指Spark的核心运行机制，包括Spark核心组件的运行机制、Spark任务调度机制、Spark内存管理机制、Spark核心功能的运行原理等，熟练掌握Spark内核原理，能够帮助我们更
    大数据
  • Spark学习之spark集群搭建
    本文讲介绍如何搭建spark集群。 上述所有的文件都安装在/home/zhuyb/opt文件夹中。 服务器是实验室的，选用了一台master和三台slave机器.IP和机器名在hosts文件中做了映射，因此可以通过hostname直接访问机器。 shh免密登录配置其实很容易，我…
    Spark