强化学习

之前的系列文章：介绍了 RLHF 里用到 Reward Model、PPO 算法。 但是这种传统的 RLHF 算法存在以下问题：流程复杂，需要多个中间模型对超参数很敏感，导致模型训练的结果不稳定。

数据处理 这里和 DeepSpeed-Chat RLHF 阶段代码解读（1） —— 奖励函数阶段 - 掘金 (juejin.cn) 处理基本一致，唯一的区别是输入不是 prompt + respons

在 DeepSpeed-Chat RLHF 阶段代码解读（0） —— 原始 PPO 代码解读 - 掘金 (juejin.cn) 一文中，我们了解了 PPO 的原理和实现。本篇文章，我们来看 RLHF

为了理解 DeepSpeed-Chat RLHF 的 RLHF 全部过程，这个系列会分三篇文章分别介绍： 原始 PPO 代码解读RLHF 奖励函数代码解读RLHF PPO 代码解读 这是系列的第一篇

这个系列介绍了常用的单智能体强化学习方法，也有些没有写到，比如 SAC，希望以后有时间可以回来补完。还有多智能体算法这个系列没有涉及，希望以后可以有时间谢谢多智能体算法。

Self-Attention 模型结构 上图架构以 batch_size 为 1，两个时间步的 X 为例子，计算过程如下： 位置编码 根据 self-attention 的模型结构，改变 X 的输入顺

因为强化学习里面有些状态是图片表示的，需要用 CNN 抽取信息，所以对 CNN 要有基础的了解。 卷积层 原理 1200 万像素，RGB 3通道图片 3600万元素，使用 FC（全连接） size 1

KL 散度 KL 散度是衡量两种概率模型分布相似性的一种尺度，KL 越大两种概率模型分布相似性越小。 信息量 2022 阿根廷夺冠（没有信息量，因为已经夺冠了） 2026 阿根廷夺冠（信息量很大） 比

回顾 深度强化学习（DRL）算法 4 —— Deep Deterministic Policy Gradient (DDPG) - 掘金 (juejin.cn) 文章里提到了 DDPG 存在的三个缺点

回顾 之前我们在 深度强化学习（DRL）算法 3 —— Deep Q-learning(DQN) - 掘金 (juejin.cn)定义了 DQN 的 Loss 函数： $$Loss = (r + \g

回顾 之前的文章 深度强化学习（DRL）算法 附录 3 —— 蒙特卡洛方法（MC）和时序差分（TD） - 掘金 (juejin.cn) 介绍了 Q-learning，这篇文章我们介绍把 deep le

状态转移概率一般是不知道的，所以我们需要 model-free 的方法，如 MC 和 TD 蒙特卡洛方法（MC） $\varepsilon$-贪心策略： 贪心动作选择概率：1 - $\varepsil

马尔可夫决策过程（MDP） 马尔可夫链（具有马尔可夫性质的随机过程）+ A（动作：会导致状态转移） + R（奖励：衡量动作的好坏） 动态特性 定义如下概率： $p(s^{\prime}, r | s,

在之前的文章里介绍了 深度强化学习（DRL）算法 2 —— PPO 之 Clipped Surrogate Objective 篇 - 掘金 (juejin.cn)，提出了现有方法存在方差较大的缺点，

贝尔曼公式：根据 Contraction mapping theorem 可知贝尔曼最优公式中的 v（state value） 存在唯一的最优解，并且可能有多种最优策略。

前言 就像引言里所描述的养成习惯的四个步骤，如果我们想让机器也有自己的“习惯”，去掉机器没有的渴求属性，就是强化学习所做的事情 —— 帮机器养成“习惯”，而 DRL 就是使用深度学习的技术去实现强化学

在之前的文章里介绍了 深度强化学习（DRL）算法 1 —— REINFORCE - 掘金 (juejin.cn)，提出了两个缺点，其中缺点一，在后续提出的 DRL 算法 PPO 解决了，今天我们就来看