这是我参与8月更文挑战的第18天，活动详情查看：8月更文挑战

Offline-RL

概念

Offline RL即离线强化学习。offline RL也叫batch RL，它的基础setting是：有一个强化学习环境下得到的数据集，一个这样的四元组 $(s_t,a_t,r_t,s_{t+1})$ 。我们的目标是在不与环境交互的情况下，仅通过这个数据集，学出一个最好的策略 $\pi$ 。

事实上所有的off-policy算法都可以用来做Offline-RL。像DQN、DDPG这样的off-policy方法，有一个用来存储之前采集的数据replay buffer。其实当这个replay buffer足够大时，我们就可以看成是Offline-RL。

当数据质量足够好，比如说轨迹都是专家策略生成的数据时，可以直接进行模仿学习imitation learning。offline-RL与模仿学习的区别在于，offlineRL理论上可以利用任意策略采样的离线数据学习得到最优策略，而模仿学习必须是模仿专家策略采样的数据。

online RL: 每次的策略 $\pi_{k+1}$ 更新时，是基于从环境中获取到的流数据（也就是序列 $s_i,a_i,r_i,s'_i$ ），进行更新

off-policy RL: 在online RL上增加一个经验池replay buffer，用于存储之前采样的策略 $\pi_0、...,\pi_k$ 包括每个策略下的观测序列，所有的数据都将用于 $\pi_{k+1}$ 更新。

offline RL: 使用一个包含 $\pi_{\beta}$ （未知的策略）的离线数据集 $D$ 。数据集只收集一次，且在训练过程中不会被更改。训练过程不与MDP交互，策略只在完全训练结束后才部署。Offline RL可以使用大型的已先收集好的数据集。offline RL序列是固定的。

在这里插入图片描述

分布偏移

目前离线强化学习的挑战：离线强化学习想要从离线数据中学出与观测数据不一样的策略，这就会造成一个分布偏移的问题。即离线数据集中的分布与真实观测数据集中的分布差别较大。

简单来说，我们从离线data中采样得到策略 $\pi_{\beta}$ ，但实际想learn的策略是 $\pi_{\theta}$ 。这样就可能造成两个策略发分布差异较大。

为了克服这一问题，目前有重要性采样等方法，后续再深入学习探讨。