自然语言生成中的模型幻觉控制
近年来，研究重点集中在自然语言生成领域。在机器学习峰会上，将讨论生成语言时控制参数相关选择的必要性。生成语言的程序必须决定如何表达信息，例如算法需要确定传达什么内容、使用哪些词汇以及如何排序词汇构成句子。深度学习能生成非常流畅的文本，但通常无法基于指定的输入目标控制这些选择方式。
可控语言生成的主要关注点是输出应忠实于输入。神经语言生成方法已知会产生内容幻觉，导致生成的文本传达输入中未出现的信息。模型幻觉导致的事实不一致可能发生在实体级别或关系级别。
在前者情况下，模型生成的摘要可能包含源文档中完全缺失的实体。还存在其他更难以发现的幻觉类型：关系不一致，即实体存在于源文档中，但这些实体之间的关系却缺失。
当前依赖大规模语言模型的自然语言生成技术能生成流畅文本，但难以通过控制词汇选择或词序来保证说话者意图准确传达。将详细阐述使模型能忠实呈现说话者意图的技术。
该主题在科学界的现实意义
自然语言生成有许多不同用例，包括从数据生成语言、文本摘要，以及在对话和机器翻译中生成准确响应。在所有用例中，幻觉一直是个问题。生成不准确文本的系统是个严重问题，远比生成不够流畅文本的系统更糟糕。
忠实生成与内容控制技术
幻觉发生的一种情况是训练数据不包含训练期间输入中出现的数据或短语。忠实生成和摘要的方法主要依赖数据增强技术。
对于从数据生成语言，使用自训练方法通过实例对增强原始训练数据，每个实例包含结构化数据对和传达信息的相关文本，这些都是完全新颖的。
值得注意的是，在增强数据上训练后，即使是带有贪婪解码的简单编码器-解码器模型也能生成语义正确的话语，在自动和人工质量评估中与最先进输出相当。
还研究了神经序列到序列模型在执行意义表示的自然语言生成时表现细粒度可控性的程度。更具体地说，研究了控制词序的效果。
假设有一个意义表示给出餐厅名称、位置和供应的食物类型。句子可以排序信息使餐厅名称首先出现，或者将食物放在餐厅名称和位置之前，或者从提供位置开始。可以想象不同排序更合适的场景。例如，假设有人提问"我在哪里可以找到喝咖啡的好地方？"这里，回复的重点可能是位置。然而对于"阿拉米斯咖啡馆在哪里？它供应什么？"这样的问题，我们希望回复以"阿拉米斯咖啡馆"开头。
系统比较了四种输入线性化策略对可控性和忠实度的影响。线性化指的是找到给定词汇集合的正确语法顺序的任务。还使用数据增强来提高性能。发现训练期间正确对齐输入序列能实现高度可控的生成，无论是在从头开始训练时，还是在微调更大的预训练模型时。
