涤生大数据

1.在root用户下，查看MySQL是否安装 [root@10-90-49-139-jhdxyjd ~]# rpm -qa|grep -i mysql    mysql-c...

1. 1.1. val config = new SparkConf().setAppName("ip_ana").val result = sc.textFile("da...

1.1. val conf = new SparkConf().setMaster("local[6]").val interimRDD = sc.textFile("da...

4. // 1. val conf = new SparkConf().// 2. val source: RDD[String] = sc.textFile("hdfs:...

1.1.1. scala> sc.parallelize(1 to 100).之所以会有 8 个 Tasks, 是因为在启动的时候指定的命令是 spark-shell --...

1.1. 2009 年由加州大学伯克利分校 AMPLab 开创 2010 年通过BSD许可协议开源发布 2013 年捐赠给Apache软件基金会并切换开源协议到切换许可协议...

3. 3.1. 在初始阶段工作可以全部使用 Spark shell 完成, 它可以加快原型开发, 使得迭代更快, 很快就能看到想法的结果. 但是随着项目规模越来越大, 这种...

1.在 Spark 部分的底层执行逻辑开始之前, 还是要先认识一下 Spark 的部署情况, 根据部署情况, 从而理解如何调度.Master Daemon 负责管理 Mas...

1.RDD 对键值对的额外支持是通过隐式支持来完成的, 一个 RDD[(K, V)], 可以被隐式转换为一个 PairRDDFunctions 对象, 从而调用其中的方法....

1. A list of partitions A function for computing each split A list of dependencies on ...

1. val factor = 3.val areaFunction = (r: Int) => math.上述例子中, `closure`方法返回的一个函数的引用, 其实...

1. 1.1. 在前面的 RDD 部分, 非常明显可以感觉的到是命令式的, 主要特征是通过一个算子, 可以得到一个结果, 通过结果再进行后续计算.sc.textFile("...

1.1. 1.2. score.id → id#1#L 为 score.id 生成 id 为 1, 类型是 Long score.math_score → math_sco...

2. 2.1. Standalone 集群中, 分为两个角色: Master 和 Slave, 而 Slave 就是 Worker, 所以在 Standalone 集群中,...

一段很简单的代码，使用比如create table mobdi_test.aaa as select split(path,'\/')  from mobdi_test.p...

1.2. 假如 rddB = rddA.val sc = ...val rddA = sc.val rddB = sc.rddA.cartesian(rddB).colle...

1.val spark: SparkSession = new sql.SparkSession....import spark.implicits.val dataset...

1.import org.apache.spark.sql.import org.apache.spark.sql.val spark: SparkSession = .....