阿姆姆姆姆姆姆姆

马尔可夫决策过程（MDP） 马尔可夫链（具有马尔可夫性质的随机过程）+ A（动作：会导致状态转移） + R（奖励：衡量动作的好坏） 动态特性 定义如下概率： $p(s^{\prime}, r | s,

在之前的文章里介绍了 深度强化学习（DRL）算法 2 —— PPO 之 Clipped Surrogate Objective 篇 - 掘金 (juejin.cn)，提出了现有方法存在方差较大的缺点，

贝尔曼公式：根据 Contraction mapping theorem 可知贝尔曼最优公式中的 v（state value） 存在唯一的最优解，并且可能有多种最优策略。

在之前的文章里介绍了 深度强化学习（DRL）算法 1 —— REINFORCE - 掘金 (juejin.cn)，提出了两个缺点，其中缺点一，在后续提出的 DRL 算法 PPO 解决了，今天我们就来看