欣xy

Transformation转换算子在SparkCore中也是比较重要的概念，也是面试的重点。它又分为 单Value类型、双Value类型、Key-Value类型，本篇文章我们主要说一下 单Value

- yarn-client: Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。 - yarn-cluster: Driver程序运行在由AM中

RDD只是把计算的逻辑疏通好，只有调用Action行动算子的时候数据才会被读入内存开始分析计算； 2. RDD一旦创建，这个对象就是不可变的了，RDD中的所有属性都无法更改； 3. RDD中不存储数据

论文中提出了DSC-Nets网络架构，使用AE将输入数据非线性的映射到潜在空间。关键的处理方式是在编码器和解码器中间添加了一个 self-expressive layer，可以处理非线性可分的数据。

论文的创新点在于抛弃了之前传统的 encoder-decoder模型 必须结合 CNN 或 RNN 的固有模式，只用 attention，提出了一种新的网络架构Transformer。

大多数学习方法会把 降维(DR) 和 聚类 分开，即先降维后聚类。但有研究表明这两个任务联合进行效果会更好。但在实践中，通过深度神经网络学习来进行降维的数据不一定适合聚类。

提出一种结构化深度聚类网络（SDCN），充分利用数据本身的特性和结构信息，即将AE学习到的表示转移到相应的GCN层，设计一个双重自监督机制，将两种不同的深层神经结构统一起来，通过KL散度引导模型更新

将聚类问题转变为样本对是否相似的问题。用深度神经网络逐步遍历样本集通过余弦距离函数来计算样本之间的相似性，而样本标签则通过相似度和两个阈值u和l得到，最后通过学习优化模型的参数w和阈值u、l进行聚类。

对比学习的基本思想是将原始数据映射到一个特征空间，其中正对的相似性最大化，而负对的相似性最小化。大量的数据对 对 对比模型的性能至关重要，在无监督设置下可以使用以下两种策略来构建正负实例对。