1.2 为什么GPT一本正经的胡说八道

352 阅读3分钟

用过GPT的人都会有个感受,有的时候GPT会一本正经的胡言乱语。

  这其实是和大语言模型的实现原理是有关系的因为大语言模型在训练数据的时候,其实,它是一个有限的数据集合,它经过训练之后,得到的这个模型,你再去用它的时候,它实际上是在原来这个有限的数据集合生成的模型里给你一个字一个字的生成它的输出,因此才叫生成式模型。

  所以他每一次输出的一个字都是跟之前所有的输出相关的,也就是根据前面的输出,他推断出下一个输出,输出什么内容比较合适。因此,他输出的东西,不管是文字也好,还是什么也好,你表面上看起来他不会有什么错误,非常的正常,或者说叫一本正经。

  但是呢,有的时候输出跟你本来想要的东西,你觉得会有差异,或者说甚至是不准确的地方,也就是说你只要定睛一看,发现他其实是在胡言乱语。这个过程,非常像一个小孩,你比如说让小孩去说一句话。那么他说出的这段话,乍一看没毛病,也没有什么语法的错误?但是,只要你仔细的去分析。发现他说的话可能没有理解你的需求。

 也就是说大语言模型,它的算法不是输出一个准确的结果,或者说去找到一个原来已经存好的一个结果,它本质上是通过猜的方式来不停的输出这个文本,所以在有些情况下它是不准确的,比如一些数学里的例子。

  比如我们让这个GPT去计算一个简单的算式,比如说九乘以八这样一个算式,你可以去试一下,他应该是能够输出一个正确的结果的。他可能说九乘以八等于72对吧,但这个72其实并不是一个他去做了计算以后的结果,而是他根据以前的知识学习,然后得到的72是一个最大概率的一个。输出72是符合最大的概率的。当你把这两个乘数呢,变大一点的时候。比如你是让他算一个98345627277乘以643572896,让他去算这两个数的时候。他还是会给你一本正经的输出一大串数据,甚至位数可能也差不多,很容易糊弄人,乍一看他好像给你算出来了,其实他只是在它的模型里面给你列出了一长串的数据数字,你真正的去用计算器去算的时候,这个结果和他给你输出的是不一样的。