无模型方法简介

所谓“无模型”，表示环境模型是未知的，即马尔可夫决策过程中的 $\mathcal{P}$ 和 $\mathcal{R}$ 是未知的。

什么是马尔可夫决策过程？ $\rightarrow$ 详见强化学习总结02

回顾之前，用动态规划解决马尔可夫决策过程问题时（详见强化学习总结03 动态规划），值函数的计算方法如下：

上式中用到了 $\mathcal{P}$ ，因此，无模型的情况无法通过动态规划的方法解决，只能通过采样经验来估计值函数。

综上，无模型的方法：

属于学习方法的一种，即智能体和环境需要进行交互，从经验中学习
需要结合充分的探索，才能保证估计的准确性 (explore)

无模型学习和动态规划的对比

无模型学习：

未知环境模型
需要与环境进行交互, 有交互成本（因此一般在仿真情况下进行）
需要充分的探索
两个策略
- 行为策略（智能体和环境进行交互时的策略）
- 目标策略（是我们要学习的策略，求值函数时， $v_\pi$ ， $q_\pi$ 的下标）

动态规划：

已知环境模型
不需要直接交互, 直接利用环境模型推导
无探索
只有一个策略

在策略和离策略

根据行为策略和目标策略是否相同，可以把无模型方法分为：

在策略方法（on-policy）
离策略方法（off-policy）

在策略

行为策略和目标策略是同一个策略
样本来自于行为策略，直接使用样本统计属性去估计总体
数据利用性更差 (只有智能体当前交互的样本能够被利用)
为了保证充分的探索性（explore），学习过程中的行为策略必须是随机性策略

离策略

行为策略和目标策略不是同一个策略
一般行为策略 $\mu$ 选用随机性策略，目标策略 $\pi$ 选用确定性策略
需要利用重要性采样才能使用样本估计总体
数据利用性更好 (可以使用其他智能体交互的样本)
行为策略需要比目标策略更具备探索性。即，在每个状态下，目标策略的可行动作是行为策略可行动作的子集

什么是重要性采样？

重要性采样

重要性采样用于估计概率分布期望值，它使用了来自其他概率分布的样本。主要用于无法直接采样原分布的情况估计期望值时，需要加权概率分布的比值（称为重要性采样率）

$f(X)$ 满足 $P$ 分布，使用分布 $Q(X)$ ，估计 $f(X)$ 的期望值：

$E_{X∼P} [f(X)]=\sum P(X)f(X)\\=\sum Q(X) \frac{P(X)}{Q(X)}f(X)\\=E_{X∼Q} [\frac{P(X)}{Q(X)}f(X)]$

离策略中的重要性采样

考虑 t 时刻之后的动作状态轨迹 $\rho_t=A_t,S_{t 1},A_{t 1},...,S_T$

可以计算出该条轨迹出现的概率：

$P(\rho_t)=\prod^{T-1}_{k=t}\pi(A_k|S_k) P(S_{k 1}| S_k, A_k)$

因此，可以得到重要性采样率为：

所以即使是无环境模型的情况下，也可以得到重要性采样率。

蒙特卡洛方法

简而言之，蒙特卡洛（Monte-Carlo, MC）就是用统计平均估计期望值的方法（重点）。可以被用于任意随机变量的估计。

而值函数 $v_\pi(s)$ 的计算，为期望值的估计：

$v_{\pi}(s) = {E}_\pi[G_t|S_t = s]$

因此，MC 方法可用于估计值函数。

用 MC 方法估计值函数，具有的特点：

使用 MC 方法只需要利用经验数据，不需要 $\mathcal{P}, \mathcal{R}$
MC 方法从完整的片段中学习。因此 MC 方法仅仅用于片段性任务 (必须有终止条件)

通过不断的采样，统计平均回报值来估计值函数，而且要做大量采样来减少估计的方差。

蒙特卡洛评价

之前提到，策略评价就是给定策略 $\pi$ ，求其值函数（V 函数或 Q 函数）。

关于一些表述的说明

轨迹：把整个片段（episode）的状态-动作的序列称为一个智能体的轨迹（trajectory）。有时也可以加上奖励 $R$ 。

$ρ = S_1, A_1, S_2, A_2, ·_ · · , S_T$

从 $π, \mathcal{P}_{ss'}^a$ 中采样一条轨迹 $ρ$ ：我们把智能体从初始状态开始和环境进行交互的整个过程中得到的轨迹叫做采样一条轨迹。因为智能体每走一步，都要在 $π, \mathcal{P}_{ss'}^a$ 这两个分布中进行采样。
从 $π$ 中采样一条轨迹 $ρ$ ：又由于在学习过程中，策略是不断变化的， $P_{ss'}^a$ 是稳定的，所以轨迹的分布随着策略的变化而变化。所以可以简述成从一个策略 $π$ 中采样轨迹。

$ρ ∼ π$

蒙特卡洛中的样本

过去求值函数的方法（动态规划中）使用了贝尔曼期望方程

直接解
迭代式动态规划

而 MC 方法直接利用值函数的定义。

$v_{\pi}(s)=E_{\pi}[G_t|S_t=s]$

MC 策略评价使用回报值的经验平均来估计实际期望值

MC 策略评价方法包括：

首次拜访 MC 策略评价

评价状态 $s$ ：

为了评价状态，使用给定的策略采样大量的轨迹
- 在每一条轨迹中，对于状态 $s$ 首次出现的时间 $t$
- 增加状态数量 $N(s) \leftarrow N(s) 1$
- 增加总回报值 $G_{sum}(s) \leftarrow G_{sum}(s) G_t$
计算平均值得到值函数的估计 $V(s) = \frac{G_{sum}(s)}{N(s)}$
每条轨迹都是独立同分布的，根据大数定律，随着 $N(s)\rightarrow \infty, V(s) \rightarrow v_π(s)$

每次拜访 MC 策略评价

评价状态 $s$ ：

使用给定的策略采样大量的轨迹
- 在每一条轨迹中，对于状态 $s$ 每次出现的时间 $t$
- 增加状态数量 $N(s) \leftarrow N(s) 1$
- 增加总回报值 $G_{sum}(s) \leftarrow G_{sum}(s) G_t$
计算平均值得到值函数的估计 $V(s) = \frac{G_{sum}(s)}{N(s)}$
同样地，根据大数定律，随着 $N(s)\rightarrow \infty, V(s) \rightarrow v_π(s)$