强化学习从零到一 06|同策略与异策略:探路的和学习的,可以不是同一个

0 阅读3分钟

【上期回顾】

上一篇讲了蒙特卡洛控制:不用环境模型,照策略跑回合,把回报取平均来估 QQ,再在每个状态挑 QQ 大的动作,评估和改进轮流做。

为了让每个动作都有机会被试到,用了两种探索办法:探索性启动和 ε-贪心。最后也看到了探索的代价:走廊里一路向右的 ε-贪心策略,ε = 0.1 时 s2s_2 的价值只有 7.63,比最优的 8 低。

要探索,策略就得带点随机;可我们想学的,往往是不带随机的最优策略。这一篇讲怎样把这两件事分开。

image.png

▲ 图 1 本篇例子:走廊里的扫地机器人(规则同前几篇)

【设定】走廊的规则(小扫不知道)

  • 状态:三个格子 s1,s2,s3s_1, s_2, s_3,加上充电座 s4s_4。进了充电座,这一回合就结束。
  • 动作:往左 ←、往右 →,结果是确定的;在 s1s_1 按 ← 会撞墙,原地不动。
  • 奖励:每走一步 −1,撞墙那一步也一样;走进充电座的那一步 +10。
  • 折扣因子:γ=0.9\gamma=0.9。
  • 策略 B:每个状态都随便走,往左、往右各一半。一路向右:每个状态都往右,也就是最优策略。
  • ε-贪心:以 1−ε1-\varepsilon 的概率选 QQ 最大的动作,以 ε\varepsilon 的概率在两个动作里随便选一个(第 05 篇讲过)。

这些规则是写给读者看的。小扫并不知道,它只能做一个动作,再看到自己到了哪、得了几分。

【说法对照】漫画说大白话,正文用正式说法

  • 说明书 = 环境模型;账本 = 价值 VV、QQ;手册 = 策略 π\pi;“跑一趟” = 一个回合;
  • 本篇新增:探路手册 = 行为策略 bb;正式手册 = 目标策略 π\pi;录像 = 跑出来的回合数据。

正文、例题和插图都用正式说法,漫画里还是老样子。

image.png

▲ 图 2 漫画 ① 边探路边学,学成了探路的样子

一、探索与利用

上一篇为了让每个动作都被试到,专门加了探索。探索为什么少不了?先离开走廊,看一个更简单的问题。

【设定】两台老虎机

  • 面前有两台老虎机,每次只能拉一台,拉一下得几分就是这一次的奖励。
  • A:得 0 分或 2 分,各一半,平均 1 分。B:得 0 分或 4 分,各一半,平均 2 分。
  • 每台都照上一篇的办法记账:拉过的得分取平均,记作 Q(A)Q(A)、Q(B)Q(B)。没拉过的先记 0(上一篇的初始值)。

两台的平均是写给读者看的,玩的人并不知道,只能拉一下、看得几分。

这个问题拉一下就结束,没有状态,只有两个动作可选,叫多臂老虎机(multi-armed bandit)问题。老虎机的英文俗称“独臂强盗”(one-armed bandit),好几台摆成一排,就成了“多臂”。

每次拉杆前都要做选择:利用(exploitation),拉现在平均最高的那台,多拿点分;或者探索(exploration),去拉另一台,弄清它到底怎么样。只利用会怎样?

【例 1】只贪心,被困在 A 上

每次都拉 QQ 大的那台,两台一样大时随便挑一台。下图是一回实际的结果:

image.png

▲ 图 3 例 1 图解:只贪心拉了 10 次,全是 A

第 1 次两台都是 0,随便挑了 A,得 2 分:Q(A)=2Q(A)=2,Q(B)Q(B) 还是 0。

之后 A 有时得 2、有时得 0,平均在 1.2 到 2 之间晃,但永远大于 0:A 最少得 0 分,第一次又得了 2,平均掉不到 0。所以每次比较都是 A 大,一直拉 A,B 一次都没试过。10 次共得 12 分。

其实 B 平均 2 分,是 A 的两倍。只贪心永远发现不了,长期每次只能拿 1 分左右。这和上一篇例 6 是同一个毛病:试得少的动作估不准,估低了就再也不去试。

办法是留出探索。上一篇的 ε-贪心是一种:以 ε 的概率随便拉一台。还有一种办法,在开局就动手脚:

【例 2】乐观初始值

开局先替每台机器记一笔 5 分,比两台真实的平均都高;之后照样只贪心。每台的平均这样算:

Q=5+r1+⋯+rnn+1Q=\frac{5+r_1+\cdots+r_n}{n+1}

r1,…,rnr_1, \ldots, r_n 是这台拉过的得分,nn 是拉的次数。下面这一回,前两次和例 1 一样倒霉:A 得 2,B 得 0。表里每一列是一次拉杆:

image.png

▲ 图 4 例 2 图解:开局各记 5 分,只贪心拉 8 次

第 1 次两台都是 5,随便挑了 A,得 2:Q(A)=(5+2)÷2=3.5Q(A)=(5+2)\div2=3.5,比 B 的 5 低,所以第 2 次去拉 B。B 得 0:Q(B)=(5+0)÷2=2.5Q(B)=(5+0)\div2=2.5。

第 3、4 次拉 A,得 2 和 0:Q(A)=(5+2+2+0)÷4=2.25Q(A)=(5+2+2+0)\div4=2.25,跌到 B 的 2.5 下面(红框),第 5 次就回头再试 B。这回 B 连得两个 4:Q(B)=(5+0+4+4)÷4=3.25Q(B)=(5+0+4+4)\div4=3.25,从此 B 一直领先。

道理是:开局记的 5 分比谁都高,没试够的那台总显得“还不错”,迟早会被再试一次;试得越多,那笔 5 分的影响越小,平均才慢慢接近真实值。

【要点】初始值也能用来探索

上一篇说过,QQ 表要先填初始值。初始值填得乐观,本身就是一种探索办法,叫乐观初始值(optimistic initial values)。

例 2 把初始值当成“已经记过的一笔”,所以第一次拉完不会被整个换掉。如果像上一篇那样,第一次的得分直接把初始值换掉,乐观初始值只能保证每台至少被试一次:B 第一次碰巧得 0,就会像例 1 一样被困住。

到这里,前面几篇出现过的探索办法可以放在一起看:

办法怎么做出现在
探索性启动每个回合随机挑起点和第一个动作第 05 篇
ε-贪心以 ε 的概率随便选一个动作第 05 篇
UCB给试得少的动作加“照顾分”第 03 篇
乐观初始值开局把 QQ 填得比谁都高本篇例 2

附一的代码让三种做法各玩 2000 回、每回拉 1000 下:只贪心平均每下 1.51 分,有 49% 的时候大部分都在拉 A,33% 的时候 B 一次都没拉过;ε-贪心(ε = 0.1)每下 1.92 分;乐观初始值每下 1.95 分。一直拉 B 是 2 分。

【注意】探索都有代价

探索时拉到差的那台、走到差的那一步,都会少拿分。ε-贪心永远留着 ε 的随机性:上一篇算过,走廊里一路向右的 ε-贪心,ε = 0.1 时 V(s2)=7.63V(s_2)=7.63,比最优的 8 低。

这就引出了本篇的主题:既要探索,又想学到不带探索的最优策略,能不能两全?

【档案】

1952 Herbert Robbins(罗宾斯)
美国 · 北卡罗来纳大学教堂山分校

在论文《试验序贯设计的若干问题》里提出了两臂老虎机问题:两种做法各有未知的平均收益,每次只能选一种来试,怎样边试边选,让长期的总收益最大。论文最早是他 1951 年 11 月在美国数学会一次会议上做的报告,次年发表在《美国数学会通报》上。

二、行为策略与目标策略

回到走廊。学习时其实有两个角色:

  • 行为策略(behavior policy),记作 bb:真正和环境打交道、跑出回合数据的那个策略。
  • 目标策略(target policy),记作 π\pi:要评估、要改进、最后拿去用的那个策略。

两者是同一个策略(b=πb=\pi),叫同策略(on-policy);两者不是同一个(b≠πb\neq\pi),叫异策略(off-policy)。也有资料译作“在轨 / 离轨策略”。本系列统一叫同策略、异策略,不叫“在线 / 离线策略”,因为“在线 / 离线”说的是另一回事,后面讲到它时再细说。

image.png

▲ 图 5 同策略:用谁跑,就学谁;异策略:b 只管跑,π 只管学

上一篇的两种蒙特卡洛控制属于哪一种?ε-贪心那种,用 ε-贪心去跑,学到的也是这个 ε-贪心,是同策略。探索性启动那种,第一步是随机挑的,之后照当前策略走,学的也是当前策略本身,同样算同策略。

【例 3】走廊里的两种安排

同样想学会在走廊里怎么走,可以这样安排:

image.png

▲ 图 6 例 3 图解:同一个走廊,两种安排

  • 同策略:用 ε = 0.1 的 ε-贪心跑数据,学到的就是这个 ε-贪心。它在 s2s_2 的价值是 7.63(上一篇算过)。
  • 异策略:用策略 B(随便走)当行为策略跑数据,目标策略是一路向右,s2s_2 的价值是 8。

同样从 s2s_2 出发,异策略最后学到的策略多出 0.37。差在哪,下一节细说。

三、同策略的两个麻烦

学到的策略带着探索

同策略里,跑的和学的是同一个。为了探索,它必须留着随机性,学到的策略也就带着随机性。

读者可能会想:学完以后把随机性去掉,每个状态只挑 QQ 最大的动作,不就是一个确定的策略了吗?在走廊里,这样做确实行得通。把 ε = 0.1 时同策略学到的 QQ 和最优的 Q∗Q_* 放在一起看:

s1s_1 ← / →s2s_2 ← / →s3s_3 ← / →
ε-贪心的 QQ4.21 / 5.874.21 / 7.815.87 / 10
最优的 Q∗Q_*4.58 / 6.24.58 / 86.2 / 10

每个数都偏低一点,但每个状态里两个动作谁大谁小没变,去掉随机性后得到的正好是一路向右。实际中也常这样用:训练时带着随机,用的时候只挑最好的动作。

不过这样学到的分数,回答的是“以后还会偶尔乱走,这时哪个动作好”,有两个问题:

  • 分数偏低:去掉随机性后,策略是最优的了,手里记的却还是带乱走时的分(s2s_2 往右是 7.81,不是 8)。后面拿这些分数去比较、去改进,就一直是偏的。
  • 有时会挑错动作:要是乱走一步的代价特别大,比如路边就是悬崖,带乱走的分会让“离危险远一点”的动作显得更好,于是学成绕远路;这时去掉随机性,得到的还是那条远路,不是最优路线。走廊里乱走的代价不大,所以看不出来。后面讲到 Sarsa 和 Q-learning 时,会用一个例子细讲。

另一种想法是:先多探索,后面把 ε 慢慢调小,行不行?

【例 4】把 ε 调小,还差多少

一路向右的 ε-贪心在 s2s_2 的价值,随 ε 变小是这样的(用第 2 篇的贝尔曼方程,按 ε-贪心策略解出来):

image.png

▲ 图 7 例 4 图解:ε 越小,越接近最优的 8

ε = 0.01 时是 7.966,ε = 0.001 时是 7.997,越来越接近 8;但只要 ε 不是 0,就总差一点。

理论上,让 ε 随训练慢慢降到 0,最后能学到最优策略。可实际训练只跑有限步:降得太快,像上一篇例 6 那样,没试够的动作估低了,就再也改不过来;降得太慢,学到的一直带着探索。什么时候降、降多快,都得人来定。

数据用一次就得扔

同策略的另一个麻烦更费钱:策略一改,以前跑的回合就不能接着用了。

image.png

▲ 图 8 漫画 ② 旧录像不能接着用

原因是:旧回合是按旧策略走出来的,它的回报反映的是旧策略的价值;可现在要估的,是新策略的价值。

【例 5】旧数据为什么不能用

小扫原来在 s1s_1 学错了,往左撞墙(上一篇只贪心的情形),s2s_2、s3s_3 往右,三处都按 ε = 0.1 做 ε-贪心。后来 s1s_1 改成往右。改正前后,同一个 (s,a)(s,a) 的真值是:

(s,a)(s,a)改正前改正后
(s2,←)(s_2,\leftarrow)−5.214.21
(s1,→)(s_1,\rightarrow)5.435.87
(s2,→)(s_2,\rightarrow)7.797.81

(s2,←)(s_2,\leftarrow) 变化最大:往左走到 s1s_1 以后,改正前会一直撞墙,改正后会掉头往右。

image.png

▲ 图 9 例 5 图解:旧回报混进来,Q(s₂,←) 被拉低

假设旧回合、新回合里各有 100 个 (s2,←)(s_2,\leftarrow) 的回报,平均分别是两边的真值,混在一起取平均:(−5.21×100+4.21×100)÷200=−0.50(-5.21\times100+4.21\times100)\div200=-0.50,离新策略的真值 4.21 差了 4.71。

所以同策略只能把旧回合扔掉,按新策略重新跑。

在真实机器人、医疗、金融这类试一次就很贵的场景,“策略改一次,就扔一批数据”非常浪费。

四、异策略:两本手册分开

异策略把“跑”和“学”交给两个策略,正好对上同策略的两个麻烦:

  • 探索和利用分开:行为策略只管探索,可以随便走,保证什么都试过;目标策略只管利用,可以完全贪心,学到的就是不带探索的最优策略。例 3 里异策略能学到 8,就是这个原因。
  • 数据可以反复用:数据是行为策略跑出来的,目标策略怎么改,都不影响这批数据本身。

image.png

▲ 图 10 漫画 ③ 一份录像,给三本手册打分

只要把“录像里的走法和目标策略不同”这一点校正掉,同一批数据就能反复用,甚至可以同时给好几个目标策略打分。

【例 6】一批数据,评估三个策略

让小扫按策略 B(左右各一半)从 s2s_2 出发跑 5000 个回合,存起来。之后不再跑,只用这一批数据,估三个目标策略在 s2s_2 的价值:

image.png

▲ 图 11 例 6 图解:同一批随机回合,估三个目标策略

三个估计都离真值不远。按同策略的做法,评估这三个策略得分别跑三批数据。

具体怎么校正,用的是重要性采样,下一篇细讲。这里先说个大意:录像里哪一趟越像目标策略会走出来的样子,就给它的回报多算点分量;目标策略几乎不会那样走的,就少算。

异策略的两个前提

image.png

▲ 图 12 漫画 ④ 异策略的两条规矩

异策略的好处不是白来的,它有两个前提:

  • 覆盖:目标策略可能做的动作,行为策略也必须有可能做到。
  • 概率已知:行为策略每一步按几成概率选的,要和数据一起记下来,校正时要用。

【例 7】覆盖不住,就估不了

回到两台老虎机。目标策略是“只拉 B”,想知道它平均每下能得几分(真值 2)。行为策略换两种:

image.png

▲ 图 13 例 7 图解:行为策略很少拉 B,“只拉 B”就估不准

  • 行为策略 ①:只拉 A。数据里一次 B 都没有,“只拉 B”无从估起。
  • 行为策略 ②:九成拉 A、一成拉 B。拉 100 次,B 平均只被拉到 10 次左右。上图这一回只拉到 6 次,得分是 0、0、0、0、4、0,平均 0.67,离真值 2 差得远。把这件事重复 1 万遍,估计值的标准差约 0.67。

覆盖不住,就估不了;覆盖得少,估计就晃得厉害。

【注意】异策略的代价

行为策略和目标策略差得越多、回合越长,校正后的估计波动就越大。这是异策略要付的代价,下一篇会算给你看。

另外,用重要性采样来校正,是蒙特卡洛这类“拿整趟回报来学”的方法的做法,不是异策略的必需品。后面的 Q-learning 也是异策略,却换了一种办法,完全用不着重要性采样,讲到它时再细说。

五、后面的算法,各属哪一类

同策略、异策略是给算法分类的一把尺子。后面要讲的算法,先用这把尺子排一排,名字先混个眼熟,后面会一个个详细介绍:

算法同策略 / 异策略
蒙特卡洛控制(ε-贪心)同策略
离轨蒙特卡洛控制异策略
Sarsa同策略
Q-learning异策略
DQN异策略
REINFORCE同策略
A2C同策略
PPO同策略
DDPG异策略
TD3异策略
SAC异策略

顺带一句:同策略、异策略说的是“谁跑数据、谁来学”;常听到的“在线、离线”说的是“数据是边跑边用,还是先存起来再学”,是两回事,后面讲到它时再细说。

六、小结

把这一篇的内容串起来,就是下面这张图。每个框右上角的小签标着在第几节讲过;最下面的虚线框是下一篇要回答的问题。

image.png

▲ 图 14 同策略与异策略:从探索讲到两个角色,再分成两条路

各个概念的一句话总结:

概念一句话例子里
探索与利用只利用会被困住,要留出探索只贪心 10 次全拉 A
乐观初始值开局把 QQ 填高,没试够的显得好第 5 次回头试 B
行为策略 bb跑数据的策略策略 B(随便走)
目标策略 π\pi要评估、改进的策略一路向右
同策略b=πb=\pi:学到的带着探索;策略一改,旧数据作废7.63;(s2,←)(s_2,\leftarrow) 从 −5.21 变 4.21
异策略b≠πb\neq\pi:可以学贪心策略,数据反复用8;一批数据估三个策略
覆盖目标策略可能做的,行为策略也得可能做不拉 B 就估不了“只拉 B”

一句话串起来:要学好就得探索;探索和学习用同一个策略,就是同策略,学到的带着探索、数据用一次就扔;把它们交给两个策略,就是异策略,行为策略随便走、目标策略只学最好的,数据还能反复用,但要覆盖住,还得校正两者的差别。

附一 动手算一算

下面让两台老虎机上的三种做法各玩 2000 回、每回拉 1000 下,比一比平均每下得几分。只用标准库。

import random

def pull(arm, rng):
    # A:0 或 2;B:0 或 4,各一半
    big = 2 if arm == "A" else 4
    if rng.random() < 0.5:
        return big
    return 0

def play(method, n, rng, eps=0.1):
    S = {"A": 0.0, "B": 0.0}  # 总分
    N = {"A": 0, "B": 0}      # 次数
    if method == "opt":  # 乐观初始值
        S = {"A": 5.0, "B": 5.0}
        N = {"A": 1, "B": 1}

    def Q(a):
        if N[a] == 0:
            return 0.0
        return S[a] / N[a]

    total = 0
    for _ in range(n):
        if method == "eps" and \
                rng.random() < eps:
            a = rng.choice("AB")  # 探索
        else:
            qa, qb = Q("A"), Q("B")
            if qa > qb:
                a = "A"
            elif qb > qa:
                a = "B"
            else:
                a = rng.choice("AB")
        r = pull(a, rng)
        S[a] += r
        N[a] += 1
        total += r
    return total

for m in ("greedy", "eps", "opt"):
    rng = random.Random(42)
    s = sum(play(m, 1000, rng)
            for _ in range(2000))
    print(m, round(s / 2000 / 1000, 3))

运行结果:greedy 1.513,eps 1.921,opt 1.948。乐观初始值把开局那笔 5 分算作已经记过的一次,所以 N 从 1 起算。

附二 参考文献

  1. Robbins H. Some aspects of the sequential design of experiments. Bulletin of the American Mathematical Society, 1952, 58(5): 527–535.
  2. Sutton R S, Barto A G. Reinforcement Learning: An Introduction (2nd ed.). MIT Press, 2018. 第 2 章、第 5 章.

【下期预告】重要性采样

异策略的关键一步,是拿行为策略跑出来的数据,去估目标策略的价值。凭什么能这样做、具体怎么校正?下一篇从一个“机器人放技能”的小例子出发,讲清重要性采样(importance sampling)。

【关注】谢谢您看到这里

这个系列会一直更新下去。关注我,新文章一发布就会出现在您的关注动态里,不会错过后面的内容。

也可以收藏本系列专栏,全部文章按顺序排在一起,随时回看。

感谢关注和支持!有问题也欢迎在评论区聊聊~

—— 强化学习从零到一 · 第 6 篇 · 完 ——