深度学习笔记——AE、VAE

大家好，这里是好评笔记，本文为试读，查看全文请移步公主号：Goodnote。本笔记介绍深度学习中两个重要的模型：AE、VAE。

@[toc]

自编码器（Autoencoder, AE）

论文： 无标志性论文，最初可以追溯到20世纪80年代和90年代初的神经网络研究。有一个系统性的综述：Autoencoders

自编码器是一种无监督学习模型，主要用于数据的降维、特征提取或数据去噪。它由两个主要部分组成：

1. 编码器（Encoder）：将输入数据压缩成低维的隐藏表示（即编码），这一部分负责从原始数据中提取特征。假设输入是 $X$，编码器的目标是找到一种映射 $f(X) = Z$，其中 $Z$ 是低维空间的表示。

2. 解码器（Decoder）：将低维的隐藏表示还原回原始数据的近似值，解码器试图从编码 Z 中重建输入 X。这一部分的映射是$g(Z) = \hat{X}$，其中$\hat{X}$是还原后的数据。

训练过程：$X -> Z -> \hat{X}$，基于无标签数据，通过反向传播和梯度下降来更新编码器和解码器的权重。

目标：让重构的$\hat{X}$ 尽量接近输入$X$，即最小化 重构误差（通常采用均方误差 MSE 或其他损失函数）。

优点：

• 可以用于数据降维，类似于 PCA，但更适合处理非线性数据。
• 用于图像去噪、异常检测等任务。

缺点：

• 学到的低维表示可能对生成新样本的能力有限，只是压缩信息，而不具备对输入数据的生成建模能力。
• 通常不适合处理概率问题，无法给出潜在变量的分布信息。

由上可知，AE的意义在于：

1. 数据降维： 模型训练结束后，我们就可以认为$Z$编码囊括了输入数据$X$的大部分信息，也因此我们可以直接利用$Z$表达原始数据。
2. 数据重建： 解码器只需要输入某些有表征信息的编码$Z$（非随机噪声），就能够输出高维的图片数据$\hat{X}$。

详细全文请移步公主号：Goodnote。

参考：欢迎来到好评笔记（Goodnote）！