回顾
之前我们在 深度强化学习（DRL）算法 3 —— Deep Q-learning(DQN) - 掘金 (juejin.cn) 定义了 DQN 的 Loss 函数：
L o s s = ( r + γ m a x a N N t a r g e t ( s t + 1 , w ) − N N ( s t , w ′ ) ) 2 Loss = (r + \gamma max_{a}NN_{target}(s_{t+1},w) - NN(s_{t}, w'))^{2} L oss = ( r + γma x a N N t a r g e t ( s t + 1 , w ) − NN ( s t , w ′ ) ) 2
算法描述
因为 NN 的输出是 Q(s, a) ，输入是 s，所以不能处理连续的动作空间（因为输出不能无限多）。那么直觉上，可以构建一个新的 NN，输入是 s 和 a，就可以处理连续的动作空间。但是 a 怎么来，显然还需要一个新的神经网络NN_action 用来模拟 a。
那么类似 DQN，我们对 NN 有一个新的 Loss 表示，max 去掉因为是确定性策略（输入只有一个 a）。
l o s s q = ( r + γ N N t a r g e t ( s t + 1 , N N a c t i o n _ t a r g e t ( s t + 1 , θ ) , w ) ⏟ t d − t a r g e t − N N ( s t , N N a c t i o n ( s t + 1 , θ ′ ) + ϵ , w ′ ) ) 2 loss_q = (\underbrace{r + \gamma NN_{target}(s_{t+1}, NN_{action\_target}(s_{t+1}, \theta), w)}_{td-target} - NN(s_{t}, NN_{action}(s_{t+1}, \theta') + \epsilon , w'))^{2} l os s q = ( t d − t a r g e t r + γ N N t a r g e t ( s t + 1 , N N a c t i o n _ t a r g e t ( s t + 1 , θ ) , w ) − NN ( s t , N N a c t i o n ( s t + 1 , θ ′ ) + ϵ , w ′ ) ) 2
经验回放
我们注意到原始的 DQN是通过 π ← ε \pi \leftarrow \varepsilon π ← ε ε \varepsilon ε N N a c t i o n ( s t + 1 , θ ′ ) + ϵ NN_{action}(s_{t+1}, \theta') + \epsilon N N a c t i o n ( s t + 1 , θ ′ ) + ϵ ϵ ∼ N ( 0 , σ ) \epsilon \sim \mathcal{N}({0, \sigma}) ϵ ∼ N ( 0 , σ )
N N a c t i o n ( s t + 1 , θ ′ ) + ϵ NN_{action}(s_{t+1}, \theta') + \epsilon N N a c t i o n ( s t + 1 , θ ′ ) + ϵ
目标策略
N N a c t i o n _ t a r g e t ( s t + 1 , θ ) NN_{action\_target}(s_{t+1}, \theta) N N a c t i o n _ t a r g e t ( s t + 1 , θ )
是不同的，所以 DDPG 也是天然 off-policy 的。那么和 DQN 类似，我们可以直接采样一系列的 （s, N N a c t i o n ( s t + 1 , θ ′ ) + ϵ NN_{action}(s_{t+1}, \theta') + \epsilon N N a c t i o n ( s t + 1 , θ ′ ) + ϵ
NN_action Loss
我们现在可以通过 L o s s q Loss_q L os s q N N a c t i o n NN_{action} N N a c t i o n N N a c t i o n NN_{action} N N a c t i o n
l o s s a = − N N ( s t + 1 , N N a c t i o n ( s t , θ ′ ) ) loss_a = - NN(s_{t+1}, NN_{action}(s_{t}, \theta')) l os s a = − NN ( s t + 1 , N N a c t i o n ( s t , θ ′ ))
有了对应的 loss，我们通过降低 lossq 和 lossa 来获得越来越好的 Q 值。
软更新
如果按之前 DQN target 参数的更新方式，我们直接复制过去：
ω ← ω ′ \omega \leftarrow \omega' ω ← ω ′ θ ← θ ′ \theta \leftarrow\theta' θ ← θ ′
DDPG 的作者提出了一种通过控制参数 τ \tau τ ω ← τ ω ′ + （ 1 − τ ） ω \omega \leftarrow \tau\omega' + （1-\tau）\omega ω ← τ ω ′ + （ 1 − τ ） ω θ ← τ θ ′ + （ 1 − τ ） θ \theta \leftarrow \tau\theta' + （1-\tau）\theta θ ← τ θ ′ + （ 1 − τ ） θ
使得目标网络更稳定的融入得到训练的 NN 网络的参数，类似降低学习率，获得更稳定训练效果的操作。
到这里 DDPG 算法的核心内容就介绍完了。
缺点
就像 q-learning 的 td-target 使用的 max 操作使得模型的偏差更大，因为 q 的值被高估了（实际上这也是 double DQN 的改进），高估问题会影响模型的探索性，DDPG 虽然没有 max 操作，但是仍旧有高估问题的可能。lossq 和 lossa 同时更新不合理，下篇文章提出改进DQN 使用的是深度学习版本的 q-learning，我们都知道期望 Sarsa 是比 Q-learning 更稳定的算法，我们也可以从这个角度出发提出改进。
改进
我们针对这些缺点，下篇文章对 DDPG 的改进版本 TD3 进行介绍，感谢阅读。
参考
arxiv.org/pdf/1509.02… 第10课-Actor-Critic方法（Part4-Deterministic Actor-Critic (DPG)）【强化学习的数学原理】_哔哩哔哩_bilibili Deep Deterministic Policy Gradient (DDPG) 
