在本文中，我们展示了一种通过将不同自然语言任务重构为统一形式，从而显著提升小样本多任务学习效果的方法。
小样本学习是一种旨在学习一组相关任务的通用机器学习模型，然后仅通过少量训练示例将其定制到新任务的技术。这种跨任务的知识共享被称为迁移学习。我们在国际声学、语音与信号处理会议 (ICASSP) 上发表的一篇论文中，展示了如何将问答作为基础任务，并通过将自然语言理解 (NLU) 任务视为问答任务来实现有效的迁移学习。
例如，考虑意图分类任务，这是语音助手（如某智能语音助手）的核心任务之一。当用户说“播放专辑《内在愿景》”时，其意图是“播放音乐”（而不是“查询天气”或“设置定时器”）。意图分类任务可以重新定义为回答一个问题的任务，例如：“意图是播放音乐吗？”
通过将自然语言理解任务视为问答任务，研究人员提出的新方法（QANLU）使一个模型能够被连续地在多个数据集上进行微调，从而显著提升性能。
在论文中，我们证明，如果一个模型已经接受了问答任务的训练，这种任务重构能使其将知识迁移到其他NLU任务的效率远高于传统方法。我们将这种方法称为 QANLU。
在涉及两种不同的NLU任务（意图分类和槽位标记）、两种不同的基线模型以及几种不同的小样本训练示例采样策略的大量实验中，我们的模型始终表现出最佳性能，在多个案例中实现了至少20%的相对改进，在其中一个案例中达到了65%。
我们还发现，在多个任务上连续微调一个模型可以提高其在每个任务上的性能。例如，在下图中，橙色线表示实验中基线模型的性能；蓝色线表示使用我们的方法在餐厅领域NLU数据集上微调的问答模型的性能；灰色线表示使用我们的方法先在航空旅行NLU数据集（ATIS）上微调，然后在餐厅领域数据集上微调的问答模型的性能。
使用十个示例进行微调时，直接在餐厅数据集上微调的问答模型相较于基线提升了21%。然而，当它首先在ATIS数据集上进行微调时，性能提升跃升至63%。这表明，随着模型在越来越多的任务上进行微调，我们方法的优势可能会累积增强。
迁移
将NLU问题映射到问答已在文献中有所研究；我们研究组的成员过去曾就此主题发表过文章。本研究的新颖之处在于探索了这种方法在迁移学习中的能力。
如今，大多数NLU系统都构建在基于Transformer的模型之上，这些模型在海量文本语料库上进行了预训练，因此它们编码了整个语言的词序列统计信息。在这些网络中添加额外的层，然后对整个模型针对目标NLU任务进行重新训练。这是我们工作中考虑的范式。在我们的实验中，我们使用了两种不同类型的预训练Transformer模型：DistilBERT和ALBERT。
除了评估QANLU在意图分类上的有效性外，我们还在相关的槽位标记任务上对其进行了评估。在上面的例子中——“播放《内在愿景》”——“《内在愿景》”是标签为“专辑名称”的槽位的值。在那里，对应于槽位标记任务的问题是：“提到了什么专辑名称？”
QANLU一个有趣的附带效果是，在为NLU任务创建的问答上进行训练，也可以提高模型在原生问答任务上的性能。如果是这样，这将为进一步使用NLU和问答之间的映射进行数据增强提供了可能性。FINISHED
