不卷了

一段很简单的代码，使用比如create table mobdi_test.aaa as select split(path,'\/')  from mobdi_test.p...

2. 2.1. Standalone 集群中, 分为两个角色: Master 和 Slave, 而 Slave 就是 Worker, 所以在 Standalone 集群中,...

1.1. 1.2. score.id → id#1#L 为 score.id 生成 id 为 1, 类型是 Long score.math_score → math_sco...

1. 1.1. 在前面的 RDD 部分, 非常明显可以感觉的到是命令式的, 主要特征是通过一个算子, 可以得到一个结果, 通过结果再进行后续计算.sc.textFile("...

1. val factor = 3.val areaFunction = (r: Int) => math.上述例子中, `closure`方法返回的一个函数的引用, 其实...

1. A list of partitions A function for computing each split A list of dependencies on ...

1.RDD 对键值对的额外支持是通过隐式支持来完成的, 一个 RDD[(K, V)], 可以被隐式转换为一个 PairRDDFunctions 对象, 从而调用其中的方法....

1.在 Spark 部分的底层执行逻辑开始之前, 还是要先认识一下 Spark 的部署情况, 根据部署情况, 从而理解如何调度.Master Daemon 负责管理 Mas...

3. 3.1. 在初始阶段工作可以全部使用 Spark shell 完成, 它可以加快原型开发, 使得迭代更快, 很快就能看到想法的结果. 但是随着项目规模越来越大, 这种...

1.1.1. scala> sc.parallelize(1 to 100).之所以会有 8 个 Tasks, 是因为在启动的时候指定的命令是 spark-shell --...

1.1. 2009 年由加州大学伯克利分校 AMPLab 开创 2010 年通过BSD许可协议开源发布 2013 年捐赠给Apache软件基金会并切换开源协议到切换许可协议...

0.1.2.0.Exception in thread "main" java.lang.at ForDemo$.main(ForDemo.at ForDemo.main(...

0.scala是支持面向对象的，也有类和对象的概念。我们依然可以基于scala语言来开发面向对象的应用程序。0.val p3:Person= new Person() //...

      Scala中集合类的序列有：数组，元组，列表，Set集，Map映射,其中数组，列表，Set,Map又分为可变和不可变两种。下面就此详细展开介绍使用。0.scal...

0.我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面这些事开发中常用的函数式编程。注意这些函数都是操作 Scala 集合的，一般会进行两类操作：转...

0.0.1.1.1.1.1.1.2.2.2.2.0.scala和Java一样，类和特质、方法都可以支持泛型。我们在学习集合的时候，一般都会涉及到泛型。所以泛型，简单点理解就...

0.scala中没有Java中的静态成员，我们想要定义类似于Java的static变量、static方法，就要使用到scala中的单例对象——object.0.在scala...

0.         跟Java一样，当我们创建类对象的时候，会自动调用类的构造器。之前我们创建类对象没有显示调用构造器，那是因为之前使用的都是默认构造器，此外，Scala...

1.2.2. 2.3.3.3.1.我们如果要开发一个支付功能，往往需要执行一系列的验证才能完成支付。进行支付签名校验数据合法性校验...2.2. 2.  类多继承train...

0.scala语言是支持面向对象编程的，我们也可以使用scala来实现继承，通过继承来减少重复代码。0...0.package com.robot.def getName ...