“Alexa，播放《蓝色狂想曲》。” “正在播放《蓝色狂想曲》。” 客户常将这种与Alexa的互动描述为神奇的体验；而在不到十年前，这听起来还像是天方夜谭。
Alexa背后的科学组成部分之一是自动语音识别——Alexa从语音信号中解读语义信息所利用的过程。而当客户的请求比播放歌曲更复杂时，科学家们，比如博士生、三度在亚马逊担任应用科学实习生的Michael Saxon，就会遇到有趣的挑战。
Saxon是今年夏天亚马逊在线上接待的一万多名实习生之一。其中超过10%的实习岗位是遍布公司各团队的应用科学和数据科学角色。大多数科学相关实习持续12到16周。
对NLP日益增长的兴趣 Saxon在亚利桑那州立大学完成了电气工程的本科学位，并获得了计算机工程硕士学位。他目前正在加州大学圣塔芭芭拉分校完成计算机科学博士学位，核心研究聚焦于自然语言处理。 他对语音和自然语言处理的兴趣始于本科最后一年，一位教授招募他参与一个项目。Saxon当时使用自动语音识别模型来检测和跟踪构音障碍语音中的鼻音过高现象，以此研究神经系统疾病的进展。
后来，Saxon在人工智能促进协会会议上遇到了一些正在寻找应用科学实习生的招聘人员。“基于我在语音和自然语言处理方面的兴趣，他们邀请我加入位于匹兹堡的Alexa混合科学团队，”Saxon说，“而我在自动语音识别模型方面的经验是一个加分项。”
解决端到端口语理解问题 Alexa混合科学团队的一个核心研究方向是开发神经端到端口语理解模型。在2019年的实习项目中，Saxon接到了一个最初看似相对简单的任务：开发一个端到端的意图口语理解系统，该系统能够在听到尽可能少的单词后做出判断。
然而，他发现这个项目实则出乎意料地困难。使用训练数据，Saxon和团队无法复现先前口语理解研究文献中的高性能结果。
在2019年夏季实习临近结束时，团队找出了原因。训练数据与现有文献中公开数据集的语义复杂度水平存在不匹配。 语义复杂度指的是一个语言数据集所包含的可能表达方式及其各种含义的数量。数据集的语义复杂度越高，程序从中解读单个话语的方式就越多。 由于其语义复杂度相对较低，公开可用的数据集需要的训练数据较少，并且最终限制了研究系统只能从一个固定的、预定义的确切命令排列列表中进行选择。
Saxon的团队将现有文献中的模型架构应用于亚马逊的训练数据，该数据的语义复杂度要高得多。 “我们发现，对于相似大小的数据集和相似的架构，我们无法复现之前研究中的这些强劲结果，我们怀疑这是由于这种语义复杂度的不匹配，”Saxon说。“这些模型从根本上是为语义复杂度较低的领域设计的。” 然而，第一次实习项目中的这次挫折，为下一个项目指明了方向。
取得成果 当Saxon在2020年1月第二次回到Alexa混合科学团队实习时，团队迅速投入工作。当他在亚利桑那州立大学完成硕士课程时，团队开始了研究工作，旨在展示可用的语义复杂度度量方法，以促进对口语理解任务进行客观比较。 为了产生有用的度量标准，团队需要比较口语理解任务的复杂度度量与将模型应用于不同数据集（每个数据集的语义复杂度依次降低）所能达到的精度之间的关系。
团队通过反复移除稀有词批次，人为生成了不同语义复杂度水平的数据集。这产生了一系列虚拟的口语理解问题，从大型人工数据集中的Alexa级别任务，到有效地从短列表中识别关键词。
“在这些语义复杂度度量与我们能够在几种不同模型上获得的最大精度之间，存在一个强大的、近乎线性的关系，”Saxon说。“这表明给定模型的性能上限与其所解决问题的语义复杂度之间存在一种基本关系。”
Saxon和团队在《端到端口语理解中的语义复杂度》论文中发表了他们的发现，阐述了将结果情境化以展示口语理解系统适用范围的重要性，并在Interspeech 2020会议上进行了展示。
考虑到语义复杂度的挑战，团队随后着手开发一个用于通用口语理解的端到端模型，该模型可以使像Alexa这样的语音助手能够以优于其他模型的精度处理任何话语。
其成果是第二篇论文：《面向通用语音助手的端到端口语理解》。团队构建了一个端到端口语理解系统，该系统既可以在语音上进行预训练，也允许插入大型语言模型。这使得团队能够分别调整系统的转录和解释能力。 因此，该系统能够处理更多意图和参数解释的组合。值得注意的是，该口语理解系统的语音到语义解析精度，比类似能力的端到端基线系统提高了43%。
利用网络回答任何问题 今年夏天，Saxon正在完成他在亚马逊的第三次应用科学实习，为加州曼哈顿海滩的Alexa人工智能团队远程工作。该团队的工作重点是让Alexa能够为客户的问题提供高度准确的回答。 “我一直在这个旅程中，从语音方面开始，逐渐深入到技术栈的更底层，到达现在所处的网络信息领域，而这里仍然有先前工作的回声，”Saxon解释道。
这次的挑战涉及一个语义复杂度更高的用例：Alexa人工智能团队需要训练基于网络信息的模型，使其能够正确回答任何可能的问题——甚至是最令人困惑的那些——以便Alexa能为客户的问题提供有用的回答。 通常，自动语音识别系统需要正确转录的疑问句中最关键的词语是非常罕见的。这些词增加了句子的语义复杂度，也是系统最难转录的词。 如果未能正确识别出这些词中的一个，系统将无法回答问题。Saxon当前的工作正是将他之前在端到端口语理解方面的经验应用到这项任务中。
“Michael的实习帮助我们建立了深厚的专业知识，并使我们在端到端口语理解领域达到了如今的成熟度，”他之前的经理Athanasios Mouchtaris说。“我们从Michael实习期间的工作中学到的一切，对我们的成功至关重要。”
展望未来 Saxon才完成博士学业的第一年，目前仍处于寻找研究方向探索阶段。他还有四年博士学业要完成，并打算再做几次实习——他表示可以看到自己再次回到亚马逊。 “我非常认同这里的领导力原则和文化。我尤其喜欢这里强调的主人翁精神和‘不同意但承诺’的理念，这些在我的研究项目中对我很有帮助，”他说。“毕业后，我肯定会考虑回来全职工作。”
对亚马逊实习机会感兴趣吗？ 亚马逊今年夏天在线接待了超过一万名实习生。如果您是对亚马逊实习感兴趣的学生，您可以通过亚马逊学生项目了解更多实习机会。FINISHED
