某机构在EMNLP 2024上发表50余篇论文的快速指南
大语言模型在研究领域中占据主导地位，既作为研究课题本身，也作为研究某机构特别感兴趣主题（如语音、推荐系统和信息检索）的工具。
会议：EMNLP 2024
大语言模型已主导自然语言处理领域，因此某机构科学家在今年实证自然语言处理方法会议（EMNLP）上展示的研究也主要由它们主导，这并不意外。LLM训练是某机构论文数量最多的主题，其次是缓解LLM输出中错误信息（包括但不限于幻觉）的策略。同时，多篇论文将LLM应用于某机构传统感兴趣的主题，如语音、推荐系统和信息检索。（标有星号的论文被接收至《EMNLP Findings》。）
AI代理
- MARCO：多智能体实时聊天编排 (Anubhav Shrimal, Shervin Malmasi, Kriti Biswas, Swarnalatha Raghuraman, Anish Nediyanchath, Yi Zhang, Promod Yenigalla)
代码生成
- CodeFort：代码生成模型的鲁棒训练 (Yuhao Zhang, Shiqi Wang, Haifeng Qian, Zijian Wang, Mingyue Shang, Linbo Liu, Sanjay Krishna Gouda, Baishakhi Ray, Murali Krishna Ramanathan, Xiaofei Ma, Anoop Deoras)
- 苏格拉底式人类反馈：LLM代码生成的专家引导策略 (Subramanian Chidambaram, Erran Li, Min Bai, Xiaopeng LI, Kaixiang Lin, Xiong Zhou, Alex C. Williams)
- 结构化对象语言建模：通过自监督去噪生成符合复杂模式的原生结构化对象 (Amir Tavanaei, Kee Kiat Koo, Hayreddin Ceker, Shaobai Jiang, Qi Li, Julien Han, Karim Bouyarmane)
对比解码
- 通过外推巨大假设语言模型的概率来解释和改进对比解码 (Haw-Shiuan Chang, Nanyun Peng, Mohit Bansal, Anil Ramakrishna, Tagyoung Chung)
对于一个带有线索的简单问题，对比解码可能表现出“明显的盲目性”（例如，为不常见的答案如“无脊椎动物”分配比最明显答案“蜜蜂”更高的概率）。相反，“通过外推巨大假设语言模型的概率来解释和改进对比解码”中提出的渐近概率解码，通过利用多个不同规模语言模型的概率，正确地将最高概率分配给“蜜蜂”。
数据集成
- ASTRA：使用机器翻译的自动模式匹配 (Tarang Chugh, Deepak Zambre)
- 从自然语言解释中学习以实现可泛化的实体匹配 (Somin Wadhwa, Adit Krishnan, Runhui Wang, Byron C. Wallace, Chris (Luyang) Kong)
- 在地理空间网络上预训练和微调语言模型以实现精确地址匹配 (Saket Maheshwary, Arpan Paul, Saurabh Sohoney)
- 面向电商应用的检索增强拼写纠正 (Xuan Guo, Rohit Patki, Dante Everaert, Christopher Potts)
数据集蒸馏
- 通过语言模型嵌入进行文本数据集蒸馏 (Yefan Tao, Chris (Luyang) Kong, Andrey Kan, Laurent Callot)
“通过语言模型嵌入进行文本数据集蒸馏”中提出的DaLLME框架，首先使用语言模型将原始文本数据转换为嵌入向量。然后，通过旨在封装最大信息内容的过程，在嵌入空间中导出一组蒸馏向量。最后，vec2text模型将这些蒸馏向量转换回文本形式。
文档理解
- DocKD：面向开放世界文档理解模型的LLM知识蒸馏 (Sungnyun Kim, Haofu Liao, Srikar Appalaraju, Peng Tang, Zhuowen Tu, Ravi Kumar Satzoda, R. Manmatha, Vijay Mahadevan, Stefano Soatto)
信息检索
- 评估部分标注对信息检索的D-MERIT (Royi Rassin, Yaron Fairstein, Oren Kalinsky, Guy Kushilevitz, Nachshon Cohen, Alexander Libov, Yoav Goldberg)
- 识别高考虑度的电商搜索查询 (Zhiyu Chen, Jason Choi, Besnik Fetahu, Shervin Malmasi)
- 学习何时检索、重写什么以及如何在对话式问答中响应 (Nirmal Roy, Leonardo Ribeiro, Rexhina Blloshmi, Kevin Small)
自然语言理解
- LLM时代的意图检测 (Gaurav Arora, Shreya Jain, Srujana Merugu)
“LLM时代的意图检测”提出了一种基于LLM的自适应上下文学习和思维链意图检测方法。
- 预测极短文档中的实体显著性 (Ben Bullough, Harrison Lundberg, Chen Hu, Weihang Xiao)
LLM评估
- AXCEL：使用LLM的自动化可解释一致性评估 (P Aditya Sreekar, Sahil Verma, Suransh Chopra, Sarik Ghazarian, Abhishek Persad, Narayanan Sadagopan)
- 仅用少量观测值进行精确模型基准测试 (Riccardo Fogliato, Pratik Patil, Nil-Jana Akpinar, Mathew Monfort)
LLM微调
- AdaZeta：用于内存高效大语言模型微调的自适应零阶张量列适配 (Yifan Yang, Kai Zhen, Ershad Banijamali, Thanasis Mouchtaris, Zheng Zhang)
- RoseLoRA：用于知识编辑和微调的预训练语言模型的行列稀疏低秩适配 (Haoyu Wang, Tianci Liu, Ruirui Li, Monica Cheng, Tuo Zhao, Jing Gao)
“RoseLoRA：用于知识编辑和微调的预训练语言模型的行列稀疏低秩适配”中提出的行列稀疏低秩适配框架。
用于语音的LLM
- 适合语音的指令调优语言模型 (Hyundong Cho, Nicolaas Jedema, Leonardo Ribeiro, Karishma Sharma, Pedro Szekely, Alessandro Moschitti, Ruben Janssen, Jonathan May)
LLM错误信息缓解
- ECON：关于证据冲突的检测与解决 (Cheng Jiayang, Chunkit Chan, Qianqian Zhuang, Lin Qiu, Tianhang Zhang, Tengxiao Liu, Yangqiu Song, Yue Zhang, Pengfei Liu, Zheng Zhang)
- 用于知识图谱 grounded 对话生成的生成式子图检索 (Jinyoung Park, Minseok Joo, Joo-Kyung Kim, Hyunwoo J. Kim)
- HalluMeasure：使用思维链推理的细粒度幻觉测量 (Shayan Ali Akbar, Md Mosharaf Hossain, Tess Wood, Si-Chi Chin, Erica Salinas, Victor Alvarez, Erwin Cornejo)
- 以知识为中心的幻觉检测 (Xiangkun Hu, Dongyu Ru, Lin Qiu, Qipeng Guo, Tianhang Zhang, Yang Xu, Yun Luo, Pengfei Liu, Zheng Zhang, Yue Zhang)
LLM推理
- Auto-evolve：通过自推理框架提升大语言模型性能 (Krishna Aswani, Alex Lu, Pranav Patankar, Priya Dhalwani, Iris Tan, Jayant Ganeshmohan, Simon Lacasse)
LLM自我修正
- 使用DeCRIM进行LLM自我修正：分解、评判与精炼以增强对多约束指令的遵循 (Thomas Palmeira Ferraz, Kartik Mehta, Yu-Hsiang Lin, Haw-Shiuan Chang, Shereen Oraby, Sijia Liu, Vivek Subramanian, Tagyoung Chung, Mohit Bansal, Nanyun Peng)
在“使用DeCRIM进行LLM自我修正”提出的DeCRIM流程中，LLM首先生成对用户请求的响应。然后分解器将请求分解为细粒度约束，评判模型给出响应是否满足这些约束的反馈。如果满足，则输出响应；如果不满足，LLM使用反馈来精炼响应。
LLM训练
- 链中起舞：调和语言模型中的指令遵循与忠实度 (Zhengxuan Wu, Yuhao Zhang, Peng Qi, Yumo Xu, Rujun Han, Yian Zhang, Jifan Chen, Bonan Min, Zhiheng Huang)
- DEM：用于混合数据分布训练的分布编辑模型 (Dhananjay Ram, Aditya Rawal, Momchil Hardalov, Nikolaos Pappas, Sheng Zha)
“DEM：用于混合数据分布训练的分布编辑模型”中描述的分布编辑模型（ΘD）是通过在n个单独的数据分布（Di）上微调预训练模型（Θ）并将所得模型与基本的逐元素向量操作相结合而产生的。这里，提取的分布向量（∆ΘDi）乘以权重系数，并将加权和加到基础模型上。
- 用于语言模型对齐的进化对比蒸馏 (Julian Katz-Samuels, Zheng Li, Hyokun Yun, Priyanka Nigam, Yi Xu, Vaclav Petricek, Bing Yin, Trishul Chilimbi)
- 跳跃、跳过、跳转到收敛：学习率转换动态以改进大语言模型训练 (Shreyas Subramanian, Vignesh Ganapathiraman, Corey Barrett)
- 使用迭代训练从成功对话中的相关子目标学习，用于任务导向型对话系统 (Magdalena Kaiser, Patrick Ernst, Gyuri Szarvas)
- 质量很重要：评估用于工具使用LLM的合成数据 (Shadi Iskander, Nachshon Cohen, Zohar Karnin, Ori Shapira, Sofia Tolmach)
查询自动补全
- AmazonQAC：大规模、自然主义的查询自动补全数据集 (Dante Everaert, Rohit Patki, Tianqi Zheng, Christopher Potts)
- DiAL：用于查询自动补全的多样性感知列表排序 (Sonali Singh, Sachin Farfade, Prakash Mandayam Comar)
问答
- RAG-QA竞技场：评估长形式检索增强型问答的领域鲁棒性 (Rujun Han, Yuhao Zhang, Peng Qi, Yumo Xu, Jenyuan Wang, Lan Liu, William Yang Wang, Bonan Min, Vittorio Castelli)
- 使用弱监督检索长形式问答的上下文信息 (Philipp Christmann, Svitlana Vakulenko, Ionut Teodor Sorodoc, Bill Byrne, Adrià de Gispert)
推荐系统
- 用于新闻推荐的高效逐点-配对学习排序 (Nithish Kannen Senthilkumar, Yao Ma, Gerrit van den Burg, Jean Baptiste Faddoul)
GLIMPSE框架示意图。GLIMPSE采用多任务方法，预训练语言模型在相关性预测任务和配对偏好任务上进行微调。推理时，使用相关性预测生成初始逐点排序，然后通过一次或多次使用配对比较的从右到左传递来改进该排序。
- PEARL：使用LLM智能体通过示例增强和检索进行偏好提取 (Vijit Malik, Akshay Jagatap, Vinayak Puranik, Anirban Majumder)
- 用于时尚推荐的序列LLM框架 (Han Liu, Xianfeng Tang, Tianlang Chen, Jiapeng Liu, Indu Indu, Henry Peng Zou, Peng Dai, Roberto Fernandez Galan, Mike Porter, Dongmei Jia, Ning Zhang, Lian Xiong)
负责任AI
- 大语言模型的属性控制微调：以去毒化为例的案例研究 (Tao Meng, Ninareh Mehrabi, Palash Goyal, Anil Ramakrishna, Aram Galstyan, Richard Zemel, Kai-Wei Chang, Rahul Gupta, Charith Peris)
- FLIRT：上下文反馈循环红队测试 (Ninareh Mehrabi, Palash Goyal, Christophe Dupuy, Qian Hu, Shalini Ghosh, Richard Zemel, Kai-Wei Chang, Aram Galstyan, Rahul Gupta)
- LLM成员推理的数量级加速 (Rongting Zhang, Martin Bertran Lopez, Aaron Roth)
合成数据生成
- CorrSynth：一种从LLM生成多样化数据集的关联采样方法 (Suhas Kowshik, Abhishek Divekar, Vijit Malik)
“CorrSynth：一种从LLM生成多样化数据集的关联采样方法”介绍了一种使用示例之间的反相关性而非少样本生成的采样方法。
- DATA ADVISOR：用于大语言模型安全对齐的动态数据策展 (Fei Wang, Ninareh Mehrabi, Palash Goyal, Rahul Gupta, Kai-Wei Chang, Aram Galstyan)
- 评估高风险领域的差分隐私合成数据生成 (Krithika Ramesh, Nupoor Gandhi, Pulkit Madaan, Lisa Bauer, Charith Peris, Anjalie Field)
- SYNTHESIZRR：使用检索增强生成多样化数据集 (Abhishek Divekar, Greg Durrett)
“SYNTHESIZRR：使用检索增强生成多样化数据集”中提出过程的抽象描述。内容来源阶段为每个上下文协变量xICL从大型语料库中检索K个唯一文档{r1,...,rK}。任务反转阶段使用参数化的上下文精炼提示Pτ，该提示接受参数Rinv（反转指令）、rk（检索到的文档）和V(yICL)（言语化的目标标签）。一个通才教师LLM自回归地生成一个合成协变量。每个上下文示例因此产生K个唯一的合成示例{x̃1,..., x̃K}，这些示例与目标yICL一起包含在数据集中。
文本分类
- 预训练语言模型的距离感知校准 (Alberto Gasparin, Gianluca Detommaso)
- 性能引导的LLM知识蒸馏以实现大规模高效文本分类 (Flavio Di Palo, Prateek Singhi, Bilal Fadlallah)
- 提示调优的多任务分类变换器 (Rajashekar Vasantha, Nhan Nguyen, Yue Zhang)
文本摘要
- 显著信息提示以引导基于提示的抽象摘要中的内容 (Lei Xu, Asad Karim, Saket Dingliwal, Aparna Elangovan)
研究领域： 对话式AI
标签： EMNLP， 大语言模型， 文本摘要， 文本分类， 合成数据生成， 自然语言理解， 文档理解， 代码生成FINISHED
