Facebook人工智能研究部（FAIR）开源了BlenderBot 2.0，这是一个拥有长期记忆的人工智能聊天机器人，可以利用互联网搜索来补充对话背景。据人类评估人员称，新模型的性能超过了1.0版，即以前最先进的聊天机器人，在使用以前的对话方面取得了55%的改进。
研究人员Jason Weston和Kurt Shuster在最近的一篇博文中描述了该系统。为了解决许多自然语言处理（NLP）人工智能模型所表现出的 "金鱼记忆 "问题，BlenderBot加入了一个长期记忆，可以追踪几周甚至几个月的对话背景。该机器人还可以进行互联网搜索，以发现新的信息，添加到对话中。除了代码和模型之外，FAIR还发布了两个用于训练机器人的数据集。根据Weston和Shuster的说法。
我们认为，聊天机器人的这些改进可以推动虚拟助手和数字朋友等应用的技术水平。我们希望这个版本和相应的数据集能够帮助社区集体在这些和其他许多方向取得进一步的进展。
尽管像GPT-3这样的大型NLP模型在许多NLP任务上表现良好，包括回答问题和生成真实的故事，但它们缺乏对对话背景的记忆；因此，与模型互动的用户给出的任何事实或数据都可能在对话结束前被遗忘。此外，尽管模型经常 "知道 "许多常识性的事实，但这些信息在模型被训练后从未被更新。例如，一个用户问GPT-3 "谁是汤姆-布雷迪？"会被告知他是新英格兰爱国者队的四分卫，尽管布雷迪在GPT-3被训练后已经更换了球队。此外，这些模型还经常出现 "幻觉"，把可证实为错误的事情说成是事实。
像许多NLP文本生成模型一样，BlenderBot 2.0是基于编码器/解码器或seq2seq神经架构的；然而，BlenderBot并不是一个将文本输入映射到上下文空间的单一编码器，而是结合了多个编码器，用于映射文本输入以及来自对话历史、互联网搜索和机器人内存的数据。来自多个编码器的综合语境被解码以产生文本输出。一个单独的解码器模块产生的数据将被存储在内存中。还有一个模块生成搜索查询，从互联网和内存中检索信息。
BlenderBot 2.0是用与1.0版相同的混合技能任务训练的，另外还有两个额外的任务。互联网的向导，它训练模型根据对话背景产生搜索查询，以及多会话聊天，它训练模型识别哪些知识要储存在记忆中，并根据记忆产生反应。由于BlenderBot 1.0的表现已经超过了其他现有的聊天机器人，FAIR团队通过让人类评估员对机器人的互动进行评分，比较了2.0版和1.0版的性能。除了在记忆以前的对话方面优于1.0版，新模型还将幻觉从9.1%减少到3.0%，而且 "事实一致 "的频率提高了12%。
用额外的知识来增强神经NLP模型是一个活跃的研究领域。2020年，清华大学的一个团队与加拿大的研究人员合作，制作了KEPLER，该模型是在维基百科的文本内容与结构化的维基数据知识库相结合的基础上进行训练。最近，麻省理工学院的一个团队将GPT-3深度学习模型与符号化的世界状态模型相结合，以提高GPT-3文本生成的连贯性，而百度将知识图谱纳入NLP训练，创建了ERNIE 3.0，从而在SuperGLUE语言理解基准上获得新的高分。
BlenderBot 2.0的源代码、模型和训练数据集可作为FAIR的ParlAI开源聊天机器人框架的一部分。
