深度学习

本文详细解析了Transformer整体模型结构，并深入分析了各个layer层的原理及给出了计算公式，针对每个 layer、block 都给出了较为详细的代码实现方便深入理解网络结构。

在自然语言处理中，Token 是指一段文本中的基本单位，通常是一个词、一个词组或者一个字符。Tokenization 是将一段文本分解为一系列的 Token 的过程。

ViT 在 Transformer 架构的视觉模型的地位类似 ResNet模型。因为其模型“简单”且效果好，可扩展性强（scalable，模型越大效果越好），是Transformer在CV的奠基之作。

残差网络(ResNet)的提出是为了解决深度神经网络的“退化”（优化）问题。ResNet 通过设计残差块结构，调整模型结构，让更深的模型能够有效训练更训练。

本文深度讲解了卷积计算的原理，并详细介绍了构成所有卷积网络主干的基本元素，包括卷积层本身、填充和步幅的基本细节、用于在相邻区域汇聚信息的汇聚层，最后给出卷积层和汇聚层的代码示例和CNN框架结构图。

ChatGPT 是一个基于 GPT-3 模型的对话系统，它主要用于处理自然语言对话。通过训练模型来模拟人类的语言行为。本文给出了 ChatGPT 的详细注册及使用教程，称得上是保姆级别的丰富图文教程。

概率论是用于表示不确定性声明的数学框架。它不仅提供了量化不确定性的方法，也提供了用于导出新的不确定性声明的公理。概率论的知识在机器学习和深度学习领域都有广泛应用，是学习这两门学科的基础。

深度学习是机器学习的一个特定分支。我们要想充分理解深度学习，必须对机器学习的基本原理有深刻的理解。本文大部分内容参考《深度学习》书籍，从中抽取重要的知识点，并对部分概念和原理加以自己的总结。

梯度是微积分中的基本概念，也是机器学习解优化问题经常使用的数学工具（梯度下降算法）。因此，有必要从头理解梯度的来源和意义。

神经网络模型一般是依靠随机梯度下降优化算法进行神经网络参数更新的，而神经网络参数的学习是非凸问题，利用梯度下降算法优化参数时，网络权重参数的初始值选取十分关键。

在深度神经网络训练的过程中，由于网络中参数变化而引起网络中间层数据分布发生变化的这一过程被称为内部协变量偏移（Internal Covariate Shift），而 BN 可以解决这个问题。

本文分析了激活函数对于神经网络的必要性，同时讲解了几种常见的激活函数的原理，并给出相关公式、代码和示例图。

反向传播(backward propagation，简称BP)指的是计算神经网络参数梯度的方法。其原理是基于微积分中的链式规则，按相反的顺序从输出层到输入层遍历网络，依次计算每个中间变量和参数的梯度。

所谓深度神经网络的优化算法，即用来更新神经网络参数，并使损失函数最小化的算法。优化算法对于深度学习非常重要，网络参数初始化决定模型是否收敛，而优化算法的性能则直接影响模型的训练效率。

本文总结分类和回归任务的常用损失函数，比如重点解析了交叉熵损失函数的由来，并给出详细计算公式和、案例分析、代码，同时也描述了 MAE 和 MSE 损失函数。

当我们处理的数据具有不同尺度时，执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化，并给出相关代码实现。

数据增强（也叫数据扩增）的目的是为了扩充数据和提升模型的泛化能力。有效的数据扩充不仅能扩充训练样本数量，还能增加训练样本的多样性，一方面可避免过拟合，另一方面又会带来模型性能的提升。

解决不平衡样本问题的处理方法一般有两种: 从“数据层面”入手：分为数据采样法和类别平衡采样法。 从“算法层面”入手：代价敏感方法。

卷积神经网络中常见的超参数有: 优化器学习率、训练 Epochs 数、批次大小 batch_size 、输入图像尺寸大小。

内容包含深度学习算法常见的面试题。在只有一个通道的情况下，“卷积核”（“kernel”）就相当于滤波器（“filter”），这两个概念是可以互换的。一个 “Kernel” 更倾向于是 2D 的权重矩阵