我觉得GPT模型的训练方法本身是存在缺陷的
一般生成式任务，给定输入，会存在多个正确的解，而在一条训练样本中，只会标出一个正确的解。那一定会存在一种情况：在训练过程中，给定输入，模型已经生成了正确的答案，但由于该答案与训练样本中标注的正确答案不同，于是导致了错误的梯度更新。
相当于是A老师问学生“请说出一个以‘智’字开头的词？”学生回答：“智慧”，A老师说“回答错误，正确的答案是‘智能’”，于是学生经过学习，下次A老师再问同样的问题时，就会回答：“智能”；过了几天换了一个B老师，问学生“请说出一个以‘智’字开头的词？”学生回答：“智能”，B老师说“回答错误，正确的答案是‘智慧’”。你们看，作为学生的GPT模型有多难！
