Potential Reward Shaping不改变智能体的原始最优策略Potential Reward Shapin

Potential Reward Shaping唯一一种在理论上不改变智能体的原始最优策略的奖励塑形方法。

这是一个 标准但必须一步不跳 的证明问题。下面给出一个 从定义出发、逐行可检查 的推导，说明为什么 potential shaping 会导致 价值函数的状态相关“常数平移”，而与智能体在该状态执行什么动作没有关系：

V'^\pi(s)=V^\pi(s)+\Phi(s)

0️⃣ 前提与记号（先统一）

价值函数定义：

V^\pi(s) = \mathbb{E}_\pi\!\left[\sum_{t=0}^\infty \gamma^t\, r(s_t,a_t,s_{t+1}) \mid s_0=s\right]

\begin{aligned} V'^\pi(s) &= \mathbb{E}_\pi\!\left[\sum_{t=0}^\infty \gamma^t\, r'(s_t,a_t,s_{t+1}) \right] \\ &= \mathbb{E}_\pi\!\left[\sum_{t=0}^\infty \gamma^t \big(r(s_t,a_t,s_{t+1}) + \gamma\Phi(s_{t+1}) - \Phi(s_t)\big)\right] \end{aligned}

把和拆开（线性期望）：

\begin{aligned} V'^\pi(s) = {} & \mathbb{E}_\pi\!\left[\sum_{t=0}^\infty \gamma^t r_t\right] + \mathbb{E}_\pi\!\left[\sum_{t=0}^\infty \gamma^{t+1}\Phi(s_{t+1})\right] \\ &\quad - \mathbb{E}_\pi\!\left[\sum_{t=0}^\infty \gamma^{t}\Phi(s_{t})\right] \end{aligned}

\mathbb{E}_\pi\!\left[\sum_{t=0}^\infty \gamma^t r_t\right] = V^\pi(s)

这一项没有争议。

我们单独看。

\sum_{t=0}^\infty \gamma^{t}\Phi(s_t) = \Phi(s_0) + \gamma\Phi(s_1) + \gamma^2\Phi(s_2)+\cdots

\sum_{t=0}^\infty \gamma^{t+1}\Phi(s_{t+1}) = \gamma\Phi(s_1) + \gamma^2\Phi(s_2)+\cdots

把它们相减：

\sum_{t=0}^\infty \gamma^{t+1}\Phi(s_{t+1}) - \sum_{t=0}^\infty \gamma^{t}\Phi(s_t) = -\Phi(s_0)

所有后续项完全抵消，只剩下初始状态。这一步是整个证明的核心。

\begin{aligned} V'^\pi(s) &= V^\pi(s) - \Phi(s_0) \\ &= V^\pi(s) + \Phi(s) \end{aligned}

（注意：这里 $s_0=s$ ，负号已在定义中体现）

✅ 证明完成。

因为 shaping 项被设计成：

\gamma\Phi(s') - \Phi(s)

它本质上是一个 折扣后的离散梯度（discrete temporal difference），在时间上天然形成 telescoping sum（望远镜和）。

换句话说：

Potential shaping 不是“随便加奖励”，而是精心构造的“可积项”。

你也可以验证：

Q'^\pi(s,a) = Q^\pi(s,a) + \Phi(s)

于是：

\arg\max_a Q'^*(s,a) = \arg\max_a Q^*(s,a)

这正是 最优策略不变性 的数学根源。

Potential shaping 的奖励在时间维度上形成望远镜求和，使得 shaping 对整条轨迹的累计影响只剩下初始状态的 $\Phi(s)$ ，从而导致价值函数的状态相关常数平移，而不改变动作间的相对优劣。