NAACL上的45+篇亚马逊NLP论文速览

NAACL上的45+篇亚马逊NLP论文速览

在即将于下周举行的北美计算语言学协会年会上，亚马逊展示了其在自然语言处理研究方面的广度和原创性，共发表了45余篇论文。

会议 NAACL 2022

以下是按研究领域分类的亚马逊在NAACL 2022上发表的45多篇论文。

持续学习

• 终身预训练：持续使语言模型适应新兴语料库 Xisen Jin, Dejiao Zhang, Henghui Zhu, Wei Xiao, Shang-Wen Li, Xiaokai Wei, Andrew O. Arnold, Xiang Ren

• 面向生产型SLU模型新特性的局部到全局迭代训练学习 Yulia Grishina, Daniil Sorokin

• 克服seq2seq语言生成在领域自适应中的灾难性遗忘 Dingcheng Li, Zheng Chen, Eunah Cho, Jie Hao, Xiaohu Liu, Xing Fan, Chenlei (Edward) Guo, Yang Liu

  在“克服seq2seq语言生成在领域自适应中的灾难性遗忘”一文中，研究人员提出了一种方法，用于评估当现有模型在新任务上训练时（右图），数据表示发生了多大程度的偏移。

• 口语语言理解的时间泛化 Judith Gaspers, Anoop Kumar, Greg Ver Steeg, Aram Galstyan

数据增强

• 通过后验正则化约束词对齐以实现标签迁移 Kevin Martin Jose, Thomas Gueudré

  上图展示了使用词对齐将文本标签从一种语言迁移到另一种语言时遇到的困难示例。在英语中，冠词“the”被分配了标签“o”（表示“其他”）；而在法语中，缩写冠词与其名词合并，两者都接收相同的标签（“type”）。该图来自“通过后验正则化约束词对齐以实现标签迁移”。

• 通过插入操作实现的NLU可控数据生成 Manoj Kumar, Haidar Khan, Yuval Merhav, Wael Hamza, Anna Rumshisky, Rahul Gupta

• 面向自然语言理解的高效半监督一致性训练 George Leung, Joshua Tan

• 学习为语义处理任务生成示例 Danilo Croce, Simone Filice, Giuseppe Castellucci, Roberto Basili

对话系统

• 从连续语句中学习对话表示 Zhihan Zhou, Dejiao Zhang, Wei Xiao, Nicholas Dingwall, Xiaofei Ma, Andrew O. Arnold, Bing Xiang
• 使用格栅进行文本生成的大规模解码 Jiacheng Xu, Siddhartha Reddy Jonnalagadda, Greg Durrett

实体链接、指代消解与类型识别

• 用于跨文档事件和实体共指消解的对比表示学习 Benjamin Hsu, Graham Horwood
• 通过在知识库上进行推理改进实体消歧 Tom Ayoola, Joseph Fisher, Andrea Pierleoni
• ReFinED：一种高效的、支持零样本学习的端到端实体链接方法 Tom Ayoola, Shubhi Tyagi, Joseph Fisher, Christos Christodoulopoulos, Andrea Pierleoni
• 通过多任务QA向语言模型注入类型知识 Shuyang Li, Mukund Sridhar, Chandana Satya Prakash, Jin Cao, Wael Hamza, Julian McAuley

可解释AI

> 在“通过迭代检索-生成推理器实现蕴含树解释”一文中，研究人员提出了一种方法，通过逻辑地重组从支持文本证据中提取的前提，来解释大型语言模型的输出。

• 通过迭代检索-生成推理器实现蕴含树解释 Danilo Neves Ribeiro, Shen Wang, Xiaofei Ma, Rui Dong, Xiaokai Wei, Henry Zhu, Xinchi Chen, Zhiheng Huang, Peng Xu, Andrew O. Arnold, Dan Roth
• 自然语言模型理解的局部聚合特征归因 Sheng Zhang, Jin Wang, Haitao Jiang, Rui Song

极端多标签分类

• 低流量电商商店中大规模语义匹配模型的训练数据增强 Ashutosh Joshi, Shankar Vishwanath, Choon Hui Teo, Vaclav Petricek, Vishy Vishwanathan, Rahul Bhagat, Jonathan May
• 面向极端文本分类的极端零样本学习 Yuanhao Xiong, Wei-Cheng Chang, Cho-Jui Hsieh, Hsiang-Fu Yu, Inderjit S. Dhillon

联邦学习

• 带噪声用户反馈的联邦学习 Rahul Sharma, Anil Ramakrishna, Ansel MacLaughlin, Anna Rumshisky, Jimit Majmudar, Clement Chung, Salman Avestimehr, Rahul Gupta

关键词检测

• AB/BA分析：一个在保持音频隐私的同时估计关键词检测召回率提升的框架 Raphael Petegrosso, Vasistakrishna Baderdinni, Thibaud Senechal, Benjamin L. Bullough

机器翻译

• CoCoA-MT：面向对比受控翻译（含形式性应用）的数据集与基准 Maria Nadejde, Anna Currey, Benjamin Hsu, Xing Niu, Marcello Federico, Georgiana Dinu

  在联邦学习中，神经网络的分布式副本在本地进行训练，只有它们的更新（红色）被发送到中央模型。“通过联邦学习训练混合领域翻译模型”介绍了一种称为动态拉取的技术，其中参数值在训练轮次之间发生较大偏移的分布式模型（左下角），其参数会与偏移较小的模型分开拉取到中央模型中。

• 细节决定成败：论神经机器翻译中词汇表选择的陷阱 Tobias Domhan, Eva Hasler, Ke Tran, Sony Trenous, Bill Byrne, Felix Hieber

• 通过联邦学习训练混合领域翻译模型 Peyman Passban, Tanya G. Roosta, Rahul Gupta, Ankit Chadha, Clement Chung

多任务学习

• 通过从已收敛任务进行知识蒸馏实现多任务学习中的异步收敛 Weiyi Lu, Sunny Rajagopalan, Priyanka Nigam, Jaspreet Singh, Xiaodi Sun, Yi Xu, Belinda Zeng, Trishul Chilimbi
• 探索任务可迁移性在大规模多任务学习中的作用 Vishakh Padmakumar, Leonard Lausen, Miguel Ballesteros, Sheng Zha, He He, George Karypis

命名实体识别

• 多语言模型中用于跨语言和跨领域命名实体识别的动态词典集成 Besnik Fetahu, Anjie Fang, Oleg Rokhlenko, Shervin Malmasi
• NER-MQMRC：将命名实体识别建模为多问题机器阅读理解 Anubhav Shrimal, Avi Jain, Kartik Mehta, Promod Yenigalla

问答系统

• 答案整合：公式化与基准测试 Wenxuan Zhou, Qiang Ning, Heba Elfardy, Kevin Small, Muhao Chen
• 基于段落的Transformer预训练用于多句推理 Luca Di Liello, Siddhant Garg, Luca Soldaini, Alessandro Moschitti
• PerKGQA：面向个性化知识图谱的问答 Ritam Dutt, Kasturi Bhattacharjee, Rashmi Gangadharaiah, Dan Roth, Carolyn Penstein Rosé
• 来自异构源的产品答案生成：新基准与最佳实践 Xiaoyu Shen, Gianni Barlacchi, Marco Del Tredici, Weiwei Cheng, Adria de Gispert, Bill Byrne

推荐系统

• CERES：面向半结构化会话数据的图条件Transformer预训练 Rui Feng, Chen Luo, Qingyu Yin, Bing Yin, Tuo Zhao, Chao Zhang

自学习

> 在“FPI：大规模对话助手故障点隔离”中，研究人员提出了一种方法，用于推断对话代理处理流程中哪个环节发生了错误。

• FPI：大规模对话助手故障点隔离 Rinat Khaziev, Usman Shahid, Tobias Röding, Rakesh Chada, Emir Kapanci, Pradeep Natarajan

• 大规模对话AI系统中用于技能路由的可扩展且鲁棒的自学习 Mohammad Kachuee, Jinseok Nam, Sarthak Ahuja, Jin-Myung Won, Sungjin Lee

• 大规模对话AI中基于自我反馈的自学习 Pragaash Ponnusamy, Clint Solomon Mathialagan, Gustavo Aguilar, Chengyuan Ma, Chenlei (Edward) Guo

  这是一个面向任务的语义解析示例，它将自然语言转换为AI Agent可以执行的正式表示。该图来自“作为抽象式问答的组合型任务导向解析”。

语义解析

• 作为抽象式问答的组合型任务导向解析 Wenting Zhao, Konstantine Arkoudas, Weiqi Sun, Claire Cardie
• SeqZero：使用顺序提示和零样本模型的少样本组合语义解析 Jingfeng Yang, Haoming Jiang, Qingyu Yin, Danqing Zhang, Bing Yin, Diyi Yang

任务自适应

• 注意力融合：一种用于NLU任务自适应的轻量级高效后期融合机制 Jin Cao, Chandana Satya Prakash, Wael Hamza
• 通过识别注意力中的核结构实现参数高效的迁移学习 Yifan Chen, Devamanyu Hazarika, Mahdi Namazifar, Yang Liu, Di Jin, Dilek Hakkani-Tür

文本挖掘

• 面向电商评论的远监督方面聚类与命名 Prateek Sircar, Aniket Chakrabarti, Deepak Gupta, Anirban Majumdar

• 面向意见摘要的高效少样本微调 Arthur Bražinskas, Ramesh Nallapati, Mohit Bansal, Markus Dreyer

• FactGraph：使用语义图表示评估摘要的事实性 Leonardo F. R. Ribeiro, Mengwen Liu, Iryna Gurevych, Markus Dreyer, Mohit Bansal

  上图展示了一个对话代理如何将从在线来源（白框）收集到的事实整合到其对话回复（蓝框）中。该图来自“通过文档语义图增强基于知识的对话中的知识选择”。

• 通过检索器-生成器迭代训练增强检索的多语言关键词生成 Yifan Gao, Qingyu Yin, Zheng Li, Rui Meng, Tong Zhao, Bing Yin, Irwin King, Michael R. Lyu

• 用户关心什么？从用户反馈中检测可操作的见解 Kasturi Bhattacharjee, Rashmi Gangadharaiah, Kathleen McKeown, Dan Roth

语音合成

• 共情机器：在语音合成系统中使用中间特征作为杠杆模拟情感 Saiteja Kosgi, Sarath Sivaprasad, Niranjan Pedanekar, Anil Nelakanti, Vineet Gandhi

研究领域 对话式AI

标签 自然语言处理 | 文本挖掘 | 问答系统 | NAACL

会议 NAACL 2022FINISHED