无限猴子定理:大模型训练的无限可能性

192 阅读4分钟

「这只猴子还能完整打出《哈姆雷特》全书,以及莎士比亚扔到纸篓里的每句话。」

——乔治·伽莫夫《从一到无穷大》

如何能够让猴子写出一本《莎士比亚》全集?答案很简单,只需要给它一个打字机和无限长的时间。

这个看起来非常反直觉的论断,源于法国数学家埃米尔・博雷尔1913年出版的一本论述概率的书籍。他在书中提出,“想像有一百万只猴子每天打字十个小时,也几乎不可能打出全世界藏书最丰富的图书馆里所有的书。”

英国物理学家艾丁顿爵士在1928年对此进行了重新诠释:「一整个军队的猴子在打字机上乱敲是有可能写出大英博物馆里所有的书,这件事比一个瓶子中的所有气体分子同时跑到瓶子另一边还有可能发生。」

经过不断引述后,埃米尔・博雷尔当年在书中强调概率的论述发展成了现在的「无限猴子定理」。

01 什么是无限猴子定理?

无限猴子定理可以简单的理解为:有无限只猴子用无限的时间会产生特定的文章。实际上并不需要出现两个无限的事物,一只猴子打字无限次已经足够打出任何文章,而无限只猴子则能即时产生所有可能的文章。

博雷尔原意强调有些物理事件虽然就统计上来说,发生的机率并非等于零。但当它小到微乎其微,在足够长的时间尺度内都还没机会实现,我们就可以当它不可能发生。而从相反的方向,无限猴子定理也可以理解为试图说明“随机+无限=一切可能”。

2003年,一家英国动物园的科学家们抱着求真的态度,“试验”了无限猴子定理,他们把一台电脑和一个键盘放进灵长类园区。可惜的是,猴子们并没有打出什么十四行诗。根据研究者观察,它们只打出了5页几乎完全是字母“s”的纸。

我们几乎无法拥有无限多的猴子,也不能拥有无限多的时间。因此,无限猴子定理几乎不可能在现实生活中重现。但是这并不代表它不正确,因为它可以通过数学来验证。

02 数学中的无限猴子

在数学维度,猴子随机按键打出一本书是一个概率事件。为了更好地解释其中的原理,我们可以先将打出一本书缩小到打出一个单词。

以让猴子在「有 50 个键的打字机上打出香蕉这个词」为例,假设这些键是随机且被独立按下的,就意味着无论之前按下什么键,每个键被按下的机率都均等。

香蕉英文的第一个字母是“b”的机率是 1/50,第二个字母是“a”的机率也是 1/50,以此类推,成功按照banana六个字母拼写的机率不到 150 亿分之一。

除了上面这种情况,猴子还有可能无法按照banana的字母顺序依次打出字母。因为每一段(6个字母)文字都是独立的,连续n段都没有打出"banana"的概率Xn的数学公式表达为

随着n 的增大,X (n)变小。当 n = 100 万时,X (n)大约为 0.9999,当 n = 100 亿,X (n)大约为 0.53(既没有打出“banana”的概率是53%)。假如当 n = 1000 亿,X (n)大约为 0.0017(既没有打出“banana”的概率是0.17%)。

当n趋于无穷大时,X (n) 就趋于零,也就是说,通过让 n 变得足够大,就可以使 X (n) 尽可能变小。

当有1000亿只猴子时,这个概率就会降低到0.17%,并且随着猴子数量n趋于无穷大,没有打出“banana”的概率就会无限趋于0。

点击阅读全文:无限猴子定理:大模型训练的无限可能性