小乔不流水

1. 声明变量 1.1 完整定义 在scala中，我们使用val或者var来定义变量，语法格式如下: 1.2 类型推断--定义变量 在scala中，我们在定义变量的时候，可以不指定变量的类型，scal

Getting Started Starting Point: SparkSession Spark中所有功能的入口点都是SparkSession类。要创建基本的SparkSession，只需使用Sp

弹性分布式数据集(RDDs) Spark 围绕着弹性分布式数据集(RDD)的概念展开，RDD 是一个可以并行操作的容错元素集合。创建 rdd 有两种方法: 在驱动程序中并行化现有的集合，或者在外部存储

Overview 在高层次上，每个 Spark 应用程序都由一个驱动程序组成，该驱动程序运行用户的主函数并在集群上执行各种并行操作。 Spark 提供的主要抽象是弹性分布式数据集(RDD) ，它是跨集

1、部署应用程序 本节讨论部署 Spark Streaming 应用程序的步骤。 1.1、要求 要运行 Spark Streaming 应用程序，您需要具备以下功能。 Cluster with a c

1、Caching / Persistence 缓存/持久化 与 RDDs 类似，DStreams 也允许开发人员将流的数据保存在内存中。也就是说，在 DStream 上使用 persist ()方法

上一节我们通过简单的一个案列认识了SparkStreaming，接下来，我们将超越简单的示例，详细介绍 Spark Streaming 的基本知识。 1、链接 与 Spark 类似，Spark Str