EMNLP 2024 论文技术概览
大语言模型（LLMs）已主导自然语言处理领域。某中心研究人员在今年的经验方法自然语言处理国际会议（EMNLP 2024）上展示的研究工作也以此为核心，围绕多个关键技术方向展开。
大语言模型训练与对齐
- LLM 训练：涉及指令遵循与忠实度的调和、混合数据分布训练、学习率转换动态优化、进化对比蒸馏对齐等技术。
- 分布编辑模型：通过微调预训练模型于多个独立数据分布，并使用加权向量操作进行组合，以处理混合数据分布。
- LLM 微调：提出了内存高效的零阶张量训练自适应方法，以及用于知识编辑和微调的行列稀疏低秩适应框架。
模型能力与优化
- 对比解码：通过外推假设性超大语言模型的概率来解释和改进对比解码，解决“明显盲点”问题。
- LLM 推理与自校正：通过自我推理框架提升模型性能，以及采用分解、批判、精炼流程（DeCRIM）来增强对多约束指令的遵循。
代码生成与结构化输出
- 鲁棒代码生成：研究代码生成模型的鲁棒性训练方法。
- 专家引导策略：使用苏格拉底式人类反馈（SoHF）策略引导LLM代码生成。
- 结构化对象生成：通过自监督去噪，生成符合复杂模式的原生结构化对象。
数据、检索与理解
- 数据集精炼：通过语言模型嵌入进行文本数据集精炼。
- 信息检索：评估部分标注的价值，识别高考虑度的电商搜索查询，以及研究对话式问答中的检索、重写与响应决策。
- 文档理解：从LLMs进行知识蒸馏以构建开放世界文档理解模型。
- 自然语言理解：在LLM时代进行意图检测，提出基于上下文自适应学习和思维链的方法。
多模态与特定应用
- 语音处理：研究适用于语音的指令调优语言模型。
- 问答系统：评估长格式检索增强问答的领域鲁棒性，以及利用弱监督检索上下文信息进行长形式问答。
- 推荐系统：高效的新闻推荐点对排序学习、利用LLM智能体进行偏好提取与检索，以及用于时尚推荐的序列LLM框架。
安全、责任与数据生成
- LLM 误信息缓解：检测与解决证据冲突、基于知识图谱的对话生成、使用思维链进行细粒度幻觉测量、以知识为中心的幻觉检测。
- 负责任AI：基于去毒案例的属性控制微调、上下文红队测试反馈循环，以及实现数量级加速的LLM成员推理。
- 合成数据生成：使用反相关性进行多样数据集生成的采样方法、动态数据策管以进行LLM安全对齐、高风险领域差分隐私合成数据生成评估，以及检索增强的多样化数据集生成方法。
文本处理基础任务
- 文本分类：预训练语言模型的距离感知校准、面向大规模高效文本分类的性能引导LLM知识蒸馏、提示调优的多任务分类学变换器。
- 文本摘要：通过显著信息提示引导基于提示的抽象摘要内容。
