程sq

加q：2995718167 1 COMP9021 PRINCIPLES OF PROGRAMMING Term 3, 2022 Assignment 1 General m...

范式：关系型数据库中，关于数据表设计的基本原则、规则。数据库的范式设计的越高阶，冗余度越低。在关系型数据库中，普遍是3NF、最高遵循BCNF。 第一范式（1NF） 第二范式...

一、适合索引创建的情况 索引是帮助MysqL高效获取数据的数据结构，建立索引的目的是为了减少磁盘IO的次数。 字段的数值有唯一性的限制 索引本身可以起到约束的作用，比如唯一...

1. 基本概念 事务：一组逻辑单元（增删改操作），使数据从一种状态切换到另一种状态。 事务处理的原则：保证所有事务都作为一个工作单元来执行，即使出现了故障，都不能改变这种执...

1. 集合概述 集合： 用于存储数量不确定以及具有映射关系数据的容器。 集合和数组区别： 数组的长度是固定的，集合的长度是可变的 数组可以存储基本数据类型和引用类型，集合只...

1. 区存在的意义 由于B+树的每一层中的页都是以双向链表的形式存在，如果以页为单位来分配存储空间，双向链表相邻的两个页之间的物理位置可能距离非常远。在范围查找（定位到最左...

1. 标记-清除算法 标记-清除算法将垃圾回收分为两个阶段：标记阶段和清除阶段。在标记阶段，首先通过根节点，标记所有从根节点开始的可达对象，未被标记的对象便是未被引用的垃圾...

类加载器是用来把类加载到Java虚拟机中的一种东西。对于任意一个类，由它的类加载器和它的类本身确立其在JVM中的唯一性。其中类加载器分为启动类加载器、扩展类加载器、应用类加...

存储在JVM中的对象可以被划分为如下两类： 生命周期较短的瞬时对象，此类对象的创建和消亡都非常迅速； 生命周期非常长的对象，在某些极端情况下可以和JVM的生命周期一致； 由...

MR的提交流程 （1）作业提交 1.Client调用job.waitForCompletion方法，向整个集群提交 MapReduce 作业。 2.Client 向 RM ...

引言 Java提供了种类丰富的锁，每种锁因其特性的不同，在适当的场景下能够展现出非常高的效率。 Java中往往是按照是否含有某一特性来定义锁，我们通过特性将锁进行分组归类，...

1容器的概念 在Java当中，如果有一个类专门用来存放其它类的对象，这个类就叫做容器，或者就叫做集合，集合就是将若干性质相同或相近的类对象组合在一起而形成的一个整体。 上图...

在java.lang.Object类中有两个非常重要的方法： Object类是类继承结构的基础，所以是每一个类的父类。所有的对象，包括数组，都实现了在Object类中定义的...

Spark SQL 其中一类非常典型的场景是与 Hive 做集成、构建分布式数据仓库。数据仓库指的是一类带有主题、聚合层次较高的数据集合，它的承载形式，往往是一系列 Sch...

spark中的join 关联形式 按照关联形式划分，数据关联分为 内关联、外关联、左关联、右关联等等。对于参与的关联表来说，其关联形式决定的了数据的存在结果，所以选择关联形...

RDD和DataFrame SparkContext 通过 textFile API 把源数据转换为 RDD SparkSession，你可以把它理解为是 SparkCon...

RDD的依赖关系 在Spark中，RDD分区的数据不支持修改，是只读的。如果想要更新RDD分区中数据，那么只能对原有RDD进行转化操作，也就是在原有RDD基础上创建一个新的...

依据如图流程构建一个日志异常检测系统。 我们通过分布式集群，进行日志数据的采集，存储，处理，通过对日志的解析，训练相应的模型进行日志的异常检测，并通过构建知识图谱，用于数据...

通过前面对两种shuffle的理解，我们总结如下： 从shuffle的原理来看，两者其实差别不大。都是将Mapper（spark里是shuffleMapTask）的输出按照...