青训营

47 阅读2分钟

纵观 ChatGPT 模型的进化历史,可以看出,模型的发展脚步就是在朝着模拟人类的方式前进着。

人类接收语言文字信息,输出语言文字,应用了编解码方式,ChatGPT 也利用了编解码的方式。 人类的大脑神经元数量是所有生物中最多的,ChatGPT 应用了超千亿的大规模参数模型。 人类采用了对话的方式进行交流,ChatGPT 建模也采用了对话的方式。 人类的大脑具有多种多样的功能,ChatGPT 也融合了多任务,各种各样的NLP任务。 人类可以通过极少量的样例进行学习,ChatGPT 也可以完成小样本学习。 人类可以在与实际环境的交互中学习知识,塑造语言,ChatGPT 也添加了强化学习,模拟与人类的交互。 ChatGPT 的发展史,就是人工智能模拟人脑的历史。 ChatGPT 也可以回答用户的连续提问,也就是多轮对话,多轮对话之间是有信息关联的。其具体的形式也非常简单,第二次用户输入时,系统默认把第一次的输入、输出信息都拼接在一起,供 ChatGPT 参考上次对话的信息。 如果用户与 ChatGPT 对话的轮次过多,一般来讲模型仅会保留最近几轮对话的信息,此前的对话信息将被遗忘。当用户输入问句:“你喜欢苹果还是香蕉?”,ChatGPT 接收到数据之后,首先会生成一个“我”字,然后,模型会综合用户的问句和生成的“我”字,继续生成下一个字“喜”。以此类推,直到生成一个完整的句子“我喜欢苹果。”。