机器学习+深度学习+深度强化学习

黄淇楠
32 阅读13分钟

RNN

RNN（Recurrent Neural Network）是一种处理序列数据的神经网络结构，广泛应用于时间序列预测、自然语言处理等领域。RNN通过循环结构，能够记住和利用之前的输入信息，来处理序列中的每一个元素。

RNN的主要问题包括：

  1. 梯度消失和梯度爆炸：由于序列长度增加，梯度在反向传播过程中可能会消失或爆炸，导致模型难以训练。
  2. 长期依赖问题：RNN难以捕捉序列中远距离的依赖关系，特别是对于长序列。
  3. 并行计算困难：RNN的时间步之间存在依赖关系，难以进行并行计算，导致训练效率低下。

LSTM

LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（RNN）架构，旨在解决传统RNN的梯度消失和梯度爆炸问题。LSTM由Hochreiter和Schmidhuber在1997年提出，通过引入门控机制（Gating Mechanisms）来控制信息的流动，使模型能够更好地捕捉和利用长序列中的依赖关系。

LSTM的主要组成部分包括：

  1. 记忆单元（Cell State） ：LSTM通过一个“记忆单元”来存储长期信息，该单元可以在多个时间步之间传递信息。

  2. 门控机制（Gates） ：LSTM使用三个门（输入门、遗忘门和输出门）来控制信息的流动：

    • 输入门（Input Gate） ：控制有多少新的信息被加入到记忆单元中。
    • 遗忘门（Forget Gate） ：控制记忆单元中的信息有多少被保留。
    • 输出门（Output Gate） ：控制从记忆单元输出多少信息到下一个时间步。

LSTM的这些特性使得它能够在处理长序列时更有效地捕捉长期依赖关系。

Transformer

Transformer是一种用于自然语言处理任务的深度学习模型，它由Vaswani等人在2017年的论文“Attention is All You Need”中提出。Transformer的主要特点是完全基于自注意机制（Self-Attention），不使用循环神经网络（RNN）或卷积神经网络（CNN）。它在机器翻译、文本生成和各种其他NLP任务中表现出色。

Transformer的基本组成部分包括：

  1. 编码器-解码器架构（Encoder-Decoder Architecture） ：

    • 编码器（Encoder） ：处理输入序列，提取特征表示。
    • 解码器（Decoder） ：根据编码器的输出生成目标序列。

  2. 自注意机制（Self-Attention Mechanism） ：允许模型在计算每个词的表示时，考虑序列中所有其他词的相关性。这种机制通过计算“注意力权重”（Attention Weights）来实现。

  3. 多头注意机制（Multi-Head Attention Mechanism） ：通过并行的多个自注意机制来捕捉不同的关系模式，增强模型的表达能力。

  4. 位置编码（Positional Encoding） ：由于Transformer不使用RNN来处理顺序信息，它通过加入位置编码（Positional Encoding）来补充位置信息，使模型能够理解序列中的顺序。

自注意机制

自注意机制（Self-Attention Mechanism）是Transformer的核心技术，它使模型能够对输入序列中的所有词进行相互关系的建模。它的计算过程如下：

  1. 输入：一个长度为 nnn 的序列，每个词用一个向量表示。
  2. 生成查询（Query）、键（Key）、值（Value） ：通过线性变换从输入向量生成对应的Query、Key和Value。
  3. 计算注意力权重：通过点积计算Query和Key的相似度，并通过softmax函数规范化得到注意力权重。
  4. 加权求和：用注意力权重对Value进行加权求和，得到输出向量。

Transformer解决了RNN的问题

Transformer解决了RNN的上述问题，具体如下：

  1. 解决梯度消失和梯度爆炸：Transformer通过自注意机制直接连接序列中的所有位置，避免了长时间依赖的梯度问题。
  2. 捕捉长期依赖：自注意机制允许模型直接考虑序列中任意位置的词，因此可以更有效地捕捉长期依赖关系。
  3. 并行计算：Transformer不依赖序列顺序，可以对整个序列进行并行处理，大大提高了训练和推理的效率。

LSTM和Transformer各有优劣：

  • LSTM适用于一些需要严格顺序处理的任务，但在处理长序列和并行计算方面存在瓶颈。
  • Transformer通过自注意机制和并行计算解决了这些瓶颈，具有更强的捕捉长期依赖的能力和计算效率，已成为当前自然语言处理和其他领域的主流模型。

YOLO（You Only Look Once）

YOLO是一种实时目标检测系统，由Joseph Redmon等人在2015年提出。YOLO模型将目标检测视为一个回归问题，将图像分割成一个网格，并直接预测边界框（Bounding Boxes）和类别概率。

YOLO的架构

YOLO的主要架构包括以下部分：

  1. 输入层：

    • 输入为固定尺寸的图像（如448x448或416x416）。

  2. 卷积层（Convolutional Layers） ：

    • YOLO使用一系列卷积层来提取图像的特征。通常，这些卷积层的数量和参数根据具体的YOLO版本（如YOLOv1、YOLOv2、YOLOv3、YOLOv4、YOLOv5等）有所不同。

  3. 卷积块和池化层：

    • 卷积块（Convolutional Blocks）由多个卷积层、激活函数（如Leaky ReLU）和池化层（Pooling Layers）组成，用于逐步提取特征并减少特征图的尺寸。

  4. 全连接层（Fully Connected Layers） （YOLOv1中使用，后续版本取消）：

    • 最后使用全连接层将卷积特征映射到检测输出。YOLOv1中使用全连接层，但从YOLOv2开始，移除了全连接层，直接在卷积特征上进行预测。

  5. 输出层：

    • YOLO将图像划分为SxS的网格，每个网格预测B个边界框和每个边界框的类别概率。输出包括边界框的坐标、置信度和类别概率。

  6. 损失函数：

    • YOLO的损失函数包括三个部分：位置损失（Bounding Box Coordinates Loss）、置信度损失（Confidence Loss）和类别损失（Class Probability Loss）。

YOLO的优势

  1. 速度快：YOLO可以在单个前向传递中同时预测多个目标的位置和类别，具有极快的检测速度，适合实时应用。
  2. 全局推理：YOLO在整个图像上进行推理，能够捕捉全局上下文信息，从而减少背景误检。

大模型（Large Models）

大模型通常指那些具有非常多参数和层数的深度学习模型，能够处理复杂的任务和大规模的数据集。大模型通常在自然语言处理、图像识别和生成、游戏AI等领域表现优异。典型的大模型包括GPT-3、BERT、T5等。

大模型的架构

大模型的架构因具体任务和应用领域不同而异，下面以Transformer架构为例进行说明，这是目前许多大模型的基础。

  1. 输入层：

    • 接受输入序列（如文本或图像块），通常需要进行嵌入（Embedding）以转换为高维向量。

  2. 嵌入层（Embedding Layer） ：

    • 将离散的输入（如词、子词或图像块）映射到连续的向量空间。对于文本输入，常用词嵌入（Word Embedding）或子词嵌入。

  3. 位置编码（Positional Encoding） ：

    • 为了捕捉序列信息，Transformer引入位置编码，将位置信息加入到输入嵌入中。

  4. 多头自注意机制（Multi-Head Self-Attention Mechanism） ：

    • 核心组件，用于捕捉输入序列中各部分之间的相互关系。通过多个自注意头（Attention Heads）并行处理，提升模型的表达能力。

  5. 前馈神经网络（Feed-Forward Neural Network） ：

    • 在每个注意力层之后，使用前馈神经网络进一步处理特征。通常包括两个全连接层和激活函数。

  6. 层归一化（Layer Normalization） ：

    • 用于稳定和加速训练过程，在每个自注意层和前馈层之后应用。

  7. 残差连接（Residual Connections） ：

    • 为了缓解深层网络中的梯度消失问题，Transformer使用残差连接在每个主要子层（自注意层和前馈层）之间引入跳跃连接。

  8. 编码器-解码器架构（Encoder-Decoder Architecture） （可选）：

    • 对于需要生成输出序列的任务（如机器翻译），使用编码器处理输入序列，并通过解码器生成输出序列。

大模型的优势

  1. 强大的表示能力：由于拥有大量参数和复杂结构，大模型可以学习到丰富的特征表示，从而在复杂任务上表现优异。
  2. 处理长序列和全局信息：特别是基于Transformer的大模型，能够有效处理长序列和全局信息，适用于各种序列任务。
  3. 可扩展性：大模型可以通过增加层数和参数量来提升性能，适应不断增长的数据规模和任务复杂性。

总结

YOLO是一种高效的实时目标检测模型，通过卷积神经网络实现快速检测。大模型（如基于Transformer的模型）则是具有大量参数和复杂结构的深度学习模型，适用于处理复杂任务和大规模数据。两者在架构和应用领域上有所不同，各自优势明显。YOLO主要用于实时目标检测，而大模型广泛应用于自然语言处理、图像生成等领域。

A3C

A3C(Asynchronous Advantage Actor-Critic)是一种深度强化学习算法，由DeepMind的 researchers 在2016年提出。它结合了Actor-Critic方法（用于连续动作空间中的强化学习）和异步训练的思想，旨在有效地处理复杂环境中的大规模强化学习问题。

主要思想和组成部分

  1. Actor-Critic架构：

    • A3C基于Actor-Critic架构，这种架构包含两个主要组件：

      • Actor：策略网络，负责根据当前状态选择动作。
      • Critic：价值网络，评估当前状态的价值（或者动作的优劣）。

  2. 异步训练：

    • A3C通过多个并发的Agent（线程）来并行地与环境交互和学习，每个Agent都有自己的副本（instance）的Actor-Critic网络。这种异步训练方式有助于提高训练效率和样本利用率。

  3. Advantage（优势） ：

    • A3C使用优势函数（Advantage Function）来评估每个动作相对于当前状态的优劣程度。优势函数定义为： image.png 其中 Q(s,a)Q(s, a)Q(s,a) 是采取动作 aaa 后的回报（即动作价值），V(s)V(s)V(s) 是状态 sss 的价值（即状态价值）。

  4. 目标函数：

    • A3C的目标是最大化Actor的策略性能，同时训练Critic网络以估计状态值和动作值。其目标函数可以定义为最大化期望回报的期望： J(θ)=Eπθ[∑t=0Tγtrt]J(\theta) = \mathbb{E}{\pi\theta} \left[ \sum_{t=0}^T \gamma^t r_t \right]J(θ)=Eπθ​​[t=0∑T​γtrt​] 其中 πθ\pi_\thetaπθ​ 是Actor的策略（参数为 θ\thetaθ ）， rtr_trt​ 是时间步 ttt 的奖励， γ\gammaγ 是折扣因子。

  5. 算法流程：

    • 初始化：初始化全局参数 θ\thetaθ 和各个Agent的本地参数。
    • 并行交互：每个Agent并行与环境交互，收集经验数据。
    • 计算梯度：每个Agent使用本地经验数据计算Actor和Critic的梯度。
    • 更新全局网络：将本地计算得到的梯度应用于全局网络，通过异步更新来优化全局的Actor和Critic网络。
    • 重复：重复以上步骤直至达到停止条件（如达到最大训练步数或性能收敛）。

特点和优势

  • 并行化训练：通过多个Agent并行交互和学习，A3C显著提高了训练效率，尤其适用于大规模复杂环境下的强化学习。
  • 低方差的优势估计：A3C使用优势函数来减少优势估计的方差，提高了算法的稳定性和收敛速度。
  • 适用范围广：A3C适用于离散和连续动作空间的任务，并且在多个强化学习基准测试中表现优异。

总结

A3C算法通过将Actor-Critic方法与异步训练相结合，实现了在大规模和复杂环境下的高效强化学习训练。它的并行化训练策略和优势函数的使用使得在处理长期依赖、大规模动作空间和复杂任务中具有显著优势。

PPO

PPO（Proximal Policy Optimization）是一种用于强化学习的算法，由OpenAI的 researchers 在2017年提出。PPO旨在通过改进策略梯度方法来提高稳定性和样本效率，适用于解决连续控制问题和离散动作空间中的强化学习任务。

主要思想和组成部分

  1. 目标函数：

    • PPO的目标是最大化策略的期望累积回报。给定一个策略 πθ(a∣s)\pi_\theta(a|s)πθ​(a∣s)，其中 θ\thetaθ 是策略参数，目标函数可以定义为： J(θ)=Eπθ[∑t=0Tγtrt]J(\theta) = \mathbb{E}{\pi\theta} \left[ \sum_{t=0}^T \gamma^t r_t \right]J(θ)=Eπθ​​[t=0∑T​γtrt​] 其中 rtr_trt​ 是在时间步 ttt 获得的奖励， γ\gammaγ 是折扣因子。

  2. 策略网络（Actor）和价值网络（Critic） ：

    • PPO通常结合Actor-Critic方法，其中：

      • Actor：负责根据当前状态选择动作的策略网络。
      • Critic：估计状态值函数（或者状态-动作值函数），用于评估状态的好坏。

  3. Clipping机制：

    • PPO通过引入一个重要的Proximal Policy Optimization的特性，即使用Clipping（裁剪）来限制新策略与旧策略之间的差异。具体来说，PPO使用Clipping来限制策略更新的大小，防止更新过大，从而保证训练的稳定性。
    • Clipping的目的是最大化目标函数 J(θ)J(\theta)J(θ) 的同时，限制每次更新的策略参数变动。

  4. 优势函数（Advantage Function） ：

    • 优势函数 A(s,a)A(s, a)A(s,a) 衡量执行动作 aaa 相对于状态 sss 的优势（或者动作值的优势），定义为： A(s,a)=Q(s,a)−V(s)A(s, a) = Q(s, a) - V(s)A(s,a)=Q(s,a)−V(s) 其中 Q(s,a)Q(s, a)Q(s,a) 是执行动作 aaa 后的动作值，V(s)V(s)V(s) 是状态 sss 的估计价值。

  5. 算法流程：

    • 数据收集：使用当前策略与环境交互，收集经验轨迹（trajectories）。
    • 计算优势和更新：基于收集的经验数据计算优势函数和策略梯度，并使用Clipping机制来更新策略参数。
    • 重复迭代：重复以上步骤直至达到停止条件（如达到最大训练步数或性能收敛）。

特点和优势

  • 稳定性：PPO通过Clipping机制和优势函数的使用来提高训练的稳定性，减少了策略更新的方差，从而更容易收敛于较好的策略。
  • 样本效率：PPO能够通过有效地利用收集的经验数据来更新策略，提高了样本利用率。
  • 适用性：PPO适用于解决连续控制问题和离散动作空间中的强化学习任务，并且在多个强化学习基准测试中表现优异。

总结

PPO是一种基于策略梯度方法的强化学习算法，通过引入Clipping机制和优势函数来提高训练的稳定性和样本效率。它适用于解决各种连续控制和离散动作空间中的强化学习问题，已经被广泛应用于实际问题中并取得了良好的效果。

avatar
文章
阅读
粉丝