ACL 2023：大语言模型时代的计算语言学
今年计算语言学协会（ACL）会议上，大语言模型成为核心议题。某中心Alexa AI资深首席科学家、ACL大会主席指出："会议首次设立多个大语言模型专题环节，两场主题演讲均与此相关"。
幻觉问题的技术应对
针对大语言模型生成虚假信息的问题，目前主要采用三种技术方案：
后验证机制 通过知识检索系统对模型输出进行事实核查，采用蕴含模型检测文本一致性。但当前错误率仍较高，文本语义匹配仍是未完全解决的NLP难题。
数据治理策略 通过精选训练数据提升模型可靠性。模型使用数万亿token进行训练，需确保数据质量从源头控制信息输入。
模型内部干预 通过激活编辑技术调整概率分布而不改变模型参数。具体方法包括：
- 识别与真实性高度相关的注意力头
- 沿真实性相关方向进行推理干预
- 多种降低幻觉的参数修正方法
显式知识 grounding 技术同样有效：先启动知识检索组件，使模型响应基于相关文档。
训练代理难题
模型采用输入掩码训练方式，随机删除输入词让模型补全。这种自动掩码机制虽便于计算输出误差，但针对事实准确性的显式训练会使过程复杂化。
"token预测是下游应用的有效代理"某专家表示，"基础模型之上可进一步优化指令跟随能力，但修改基础模型并添加训练目标既困难又计算昂贵"。
优化路径与社会适应
通过带人类反馈的奖励模型进行持续改进是可行方案。强化学习中的反馈机制能帮助模型区分低概率选择。
若关注事实错误，可使模型沿这些维度优化。虽然模型性能在提升，但接受标准极高：95%准确率在分类视角已很高，但在搜索场景中单个错误就会引发质疑。
最终解决方案可能需要技术改进与用户教育的结合："用户可能改变使用态度，企业也会调整策略。就像对待在线新闻源，人们会自行事实核查。整个社会都在学习如何与这种新工具和谐共处"。
本文基于ACL 2023会议技术讨论，涉及大语言模型的事实准确性优化、训练方法论及社会应用平衡等专业技术议题。
