程sq

加q：2995718167 1 COMP9021 PRINCIPLES OF PROGRAMMING Term 3, 2022 Assignment 1 General matters 1.1. Ai

MR的提交流程 （1）作业提交 1.Client调用job.waitForCompletion方法，向整个集群提交 MapReduce 作业。 2.Client 向 RM 申请一个作业 id。 3.R

引言 Java提供了种类丰富的锁，每种锁因其特性的不同，在适当的场景下能够展现出非常高的效率。 Java中往往是按照是否含有某一特性来定义锁，我们通过特性将锁进行分组归类，再使用对比的方式进行介绍，帮

1容器的概念 在Java当中，如果有一个类专门用来存放其它类的对象，这个类就叫做容器，或者就叫做集合，集合就是将若干性质相同或相近的类对象组合在一起而形成的一个整体。 上图是JAVA常见的各个容器的继

在java.lang.Object类中有两个非常重要的方法： Object类是类继承结构的基础，所以是每一个类的父类。所有的对象，包括数组，都实现了在Object类中定义的方法。 equals()方法

Spark SQL 其中一类非常典型的场景是与 Hive 做集成、构建分布式数据仓库。数据仓库指的是一类带有主题、聚合层次较高的数据集合，它的承载形式，往往是一系列 Schema 经过精心设计的数据表

spark中的join 关联形式 按照关联形式划分，数据关联分为 内关联、外关联、左关联、右关联等等。对于参与的关联表来说，其关联形式决定的了数据的存在结果，所以选择关联形式，是由业务逻辑决定的。 实

RDD和DataFrame SparkContext 通过 textFile API 把源数据转换为 RDD SparkSession，你可以把它理解为是 SparkContext 的进阶版，是 Sp

RDD的依赖关系 在Spark中，RDD分区的数据不支持修改，是只读的。如果想要更新RDD分区中数据，那么只能对原有RDD进行转化操作，也就是在原有RDD基础上创建一个新的RDD。 那么，在整个任务的