时间差分方法（Temporal-Difference，TD）是强化学习中最为「核心」的想法。 DP 中，利用了贝尔曼方程去解强化学习问题。由于**环境模型已知，**当前状态的下一个状态全部已知，「直接求期望即可」。 整体看来，在时间差分评价算法中，是利用「TD目标」（估计出来的…

所谓“无模型”，表示环境模型是未知的，即马尔可夫决策过程中的 和 是未知的。 上式中用到了 ，因此，无模型的情况无法通过动态规划的方法解决，只能通过采样经验来估计值函数。 行为策略需要比目标策略更具备探索性。即，在每个状态下，目标策略的可行动作是行为策略可行动作的子集 重要性采…

最优子结构： 满足最优性原理，优的解可以被分解成子问题的最优解。 回顾贝尔曼期望方程，满足递归形式。【当前状态的值函数 = E(当前的奖励+后继状态×衰减系数) 】，可以把问题分解成子问题 使用动态规划解决强化学习问题时，要求知道 MDPs 的所有元素。这是因为强化学习问题中最…

马尔可夫决策过程（Markov Decision Processes, MDPs）是对强化学习问题的数学描述。 要求环境是全观测的。 所以要求环境是全观测的，(如果是部分观测的话，状态信息有缺失)。 状态转移概率指从一个马尔可夫状态 s 跳转到后继状态 (successor s…