时间差分方法简介

时间差分方法（Temporal-Difference，TD）是强化学习中最为「核心」的想法。

「自举法」 (bootstrapping) 又名拔靴法、自助法。通过对样本进行「重采样」得到的估计总体的方法。重采样：对样本里的数据再采样一次。强化学习的 MC 中，一条轨迹是一个样本。TD 中，把一条轨迹采样成小片段，再对片段进行采样，所以属于自举法。

时间差分评价

「目的」：给定策略 $π$ ，求其对应的值函数 $v_π$

对比之前的蒙特卡洛算法。

增量蒙特卡洛算法

用实际回报值 $G_t$ 去更新值函数 $V(S_t)$

时间差分算法 (Temporal-difference， TD)中，「使用估计的回报值 $R_{t 1} γV(S_{t 1})$ 去更新值函数 $V(S_t)$ (TD(0))」

其中：

时间差分策略评价算法

DP 中，利用了贝尔曼方程去解强化学习问题。由于**环境模型已知，**当前状态的下一个状态全部已知，「直接求期望即可」。

而 TD 中，也利用了贝尔曼方程，但做了以下改动：

为什么增加学习率？因为TD目标值 $R \gamma V(S^{'})$ 是采样得到的，不是精确的。此处的学习率表示“大致往样本的方向更新一小步”

大量采样，收敛后，时间差分评价算法满足贝尔曼方程：

整体看来，在时间差分评价算法中，是利用「TD目标」（估计出来的值函数）和「当前值函数」的差来指导学习，所以称作时间差分。

在 MC 中，考虑的是整条轨迹，利用整条轨迹来估计值函数V(s)。

MC 有高方差，零偏差
- 收敛性较好 (即使采用函数逼近)
- 对初始值不太敏感
- 简单, 容易理解和使用
- 随着样本数量的增加，「方差逐渐减少, 趋近于 0」
TD 有低方差，和一些偏差
- 通常比 MC 效率更高
- 表格法下 TD(0) 收敛到 $v_π(s)$ (函数逼近时不一定)
- 对初始值更敏感（由于用了贝尔曼方程，初始值会影响之后的迭代）
- 随着样本数量的增加，「偏差逐渐减少，趋近于 0」
TD 利用了马尔可夫性
- 一般来说 TD 在马尔可夫环境中更有效
MC 没有利用马尔可夫性
- 一般对非马尔可夫环境更有效

「自举」: 使用随机变量的估计去更新
- MC 没有自举
- DP 和 TD 都有自举
「采样」: 通过样本估计期望。这里是通过采样的样本来估计值函数。
- MC 和 TD 用到了采样（环境模型未知，需要对环境交互进行采样，从而估计值函数）
- DP 不采样（状态转移概率、奖励已知，直接计算值函数）

在监督学习中，偏差/方差有另外的理解——「欠拟合」和「过拟合」

方差大意味着样本的置信度较差

机器学习方法都会在偏差和方差之间做 trade-off

回报值 $G_t = R_{t 1} \gamma R_{t 2} ... {\gamma}^{T-t-1}R_T$ 是值函数 $v_\pi(S_t)$ 的无偏估计
真实的 TD 目标值 $R_{t 1} γv_π(S_{t 1})$ 是值函数 $v_π(S_t)$ 的无偏估计
使用的 TD 目标值 $R_{t 1} γV_π(S_{t 1})$ 是值函数 $v_π(S_t)$ 的有偏估计
TD 目标值的方差要远小于回报值（蒙特卡洛）
- 回报值依赖于很多随机变量 $A_{t},S_{t 1},R_{t 1},A_{t 1},S_{t 2},R_{t 2},· · ·$ ，每一步都会引入一定的方差，所以方差很大
- TD 目标值仅仅依赖于一个随机序列 $A_t,S_{t 1},R_{t 1}$ ，只有一步随机，所以方差很小

广义策略迭代
- 策略评价: 「TD 策略评价」， $Q = q_π$
- 策略提升: $\epsilon$ -贪婪策略提升
TD 优化相比 MC 优化有几点好处
- 「低方差」
- 「在线更新」 (online)。在线更新指的是，每进行一步就可以进行更新，而不需要整个episode做完才更新。
- 「不完整序列」