Alexa AI在ICASSP 2022上的自然语言理解论文
论文聚焦于学习先前未见过的意图以及个性化，包括通用场景和食谱推荐这一具体案例。
国际声学、语音与信号处理会议（ICASSP）已于上月底结束。顾名思义，该会议聚焦于与声学语音信号密切相关的应用，如自动语音识别和文本转语音。但近年来，语音处理和自然语言理解（NLU）——专注于文本语义内容——之间的界限变得模糊，Alexa AI的科学家们在ICASSP上发表了多篇关于NLU的论文。
NLU中最常见的任务包括领域分类（确定话语的主题）和意图分类（确定说话者的目标）。通常，NLU模型根据领域和意图的标注数据进行训练。
但在《ADVIN：从用户文本话语中自动发现新领域和新意图》一文中，Alexa AI的研究人员提出了一种新方法，用于自动识别和分类NLU模型从未见过的领域和意图。在实验中，该方法的表现显著优于其前身。
在许多场景中，NLU可以通过个性化得到改进。例如，如果两个不同的顾客对智能设备说“播放有趣的视频”，他们心中可能想着非常不同类型的内容。基于交互历史的个性化已被深入研究，但在现实世界中，交互历史在不断更新，揭示出顾客喜好的新方面或喜好的变化。在《增量式用户嵌入建模用于个性化文本分类》中，Alexa AI的研究人员提出了一种新方法，用于动态更新个性化模型以及映最近的交互。在两个不同数据集上的测试中，相较于现有最佳技术，该方法分别将预测准确率提高了9%和30%。
第三篇Alexa AI论文《基于请求的食谱推荐的对比知识图谱注意力网络》，则深入探讨了将在线食谱与顾客请求匹配这一特定问题。传统机器学习方法处理食谱检索时遇到的问题是，顾客与食谱交互的数据噪声大且稀疏。
Alexa AI的研究人员使用图谱为数据添加结构，并利用对比学习来提高所得模型的可靠性，在两个不同数据集和两个不同指标上，比现有最佳技术提高了5%到7%。
Alexa AI的应用科学家Christophe Dupuy在会议前发布的博客文章中描述了他参与撰写的另外两篇ICASSP论文，内容涉及隐私保护机器学习和联邦学习。
意图发现
对于像Alexa这样的语音助手，领域是通用的高级内容类别，如音乐或天气；意图是特定功能，如播放音乐或获取温度。
在《ADVIN：从用户文本话语中自动发现新领域和新意图》中，研究人员分三个阶段解决了对先前未见过的领域和意图进行分类的问题。
在第一阶段，模型仅识别出数据集中包含不熟悉的意图。该模型使用已知意图的标注数据以及公开可用的、标注的领域外话语（作为具有未知意图的未标注数据的替代）进行训练。
在第二阶段，另一个模型根据语义内容对标注和未标注的话语进行聚类。研究人员从标注意图的聚类中导出一个阈值距离值，该值能够最大化模型区分意图的能力。然后，他们将该值应用于未标注数据，以识别对应于新意图的聚类。
最后，在第三阶段，他们重复此过程，但在更高的概括层次上，将上一阶段发现的意图聚类成领域。
动态个性化
顾客与在线服务之间的每次交互都会产生新的数据，这些数据可用于更新编码顾客偏好的个人资料，但每次交互后都更新个人资料是极不切实际的。
在《增量式用户嵌入建模用于个性化文本分类》中，研究人员提出保持顾客最近交互的运行记录，并以动态方式利用该记录更新顾客偏好。
他们提出了一种机器学习模型，该模型将当前NLU模型试图处理的请求，以及顾客的长期历史和短期历史的表征作为输入。一个注意力机制根据长期历史确定短期历史中最具信息性的方面，反之亦然。注意力机制的输出是一个临时的顾客个人资料，模型可用其处理当前请求。
食谱检索
《基于请求的食谱推荐的对比知识图谱注意力网络》也解决了个性化问题，尽管是在食谱推荐这一特定背景下——例如，当顾客说“给我看看鸡胸肉的食谱”时，决定返回哪些食谱。
顾客以多种不同方式与食谱推荐服务交互，例如浏览食谱或查看配料清单。然而，最能说明问题的交互——证明推荐的食谱满足了顾客需求的交互——是“跟做”服务，即逐步指导餐食准备。
不过，跟做交互相对少见，而其他类型的交互可能噪声极大，反映了随意点击、对食谱标题的误解等。构建可靠的食谱推荐服务需要最大化高价值交互数据并过滤噪声。
基于图谱的模型是实现这两者的好方法，因为它们明确编码了数据中的模式，否则这些模式必须从训练样本中推断。研究人员首先构建一个食谱图谱，其中每个节点是一个食谱，如果食谱属于同一菜系类型、共享配料、包含相关关键词等，则它们共享边。
接下来，他们将代表顾客的节点添加到图谱中。顾客节点和食谱之间的边表示顾客曾与这些食谱交互，并且这些边也编码了交互类型。
最后，他们训练一个模型，使用对比学习来创建图谱节点的表征。对比学习使用成对的示例进行训练，一个属于目标类（例如，特定顾客交互过的食谱），另一个不属于。模型学习产生能将对比示例在表征空间中彼此推远，并将相关示例拉近的表征。
为了产生相关示例，研究人员创建真实示例的合成变体，其中节点或边被随机丢弃。这训练模型专注于数据的基本特征并忽略非基本特征，从而获得更好的泛化能力。
