在今日的Alexa Live活动中，某机构设备和开发者副总裁Nedim Fresko表示，某机构正在使用深度神经网络来改善客户使用Alexa技能的体验。
深度神经网络由数千甚至数百万个密集连接的、模拟大脑神经元处理方式的节点组成。它们通过在大量训练数据中寻找模式来学习执行任务。
“我们正在采用深度神经网络来提高Alexa对单个单词和句子的自然语言理解能力，”Fresko对Alexa Live的观众表示，“我们已经开始将该技术应用于自定义技能，并对初步结果感到兴奋。”
Fresko预计，使用基于深度神经网络新技术的Alexa技能，其准确率平均将提升15%。该机构计划在今年晚些时候之前，将深度神经网络的应用范围扩大到美国、英国、印度和德国的400项符合条件的技能中。
此前，Alexa技能完全由最大熵和条件随机场模型驱动，这些模型通过确定话语的意图并标记其槽位来执行自然语言理解。
这些模型的输入特征是话语的n-gram（从话语中提取的连续n个单词的序列）以及其他一些特征，如话语长度和每个标记（构成单个语义单元的单词或单词组合）的相对位置。这些模型的预测基于输入信号的线性组合，这使得它们轻量、易于训练且推理速度快。
深度神经网络模型则更擅长识别自然语言。结合无监督预训练，深度神经网络在各种自然语言处理领域都取得了最先进的性能。
词嵌入是深度神经网络模型的核心组成部分，它将每个词标记表示为300维向量空间中的一个点，使得具有相似含义的词（具有相似的共现模式）被分组在一起。为了开发有效的词嵌入，某机构科学家利用由BERT推广的无监督掩码语言建模预训练技术，并结合多个训练语料库。
“通过预训练的词嵌入，深度神经网络可以从‘给我买一个苹果’泛化到‘给我订一个橙子’，因为在底层嵌入空间中，‘苹果/橙子’和‘买/订’具有相似的表示，”领导该项目科学工作的Konstantine Arkoudas解释道。“这种机制是迁移学习的一种形式，它赋予了深度神经网络关键优势，因为模型不再仅仅从开发者提供的对话示例中学习。”
然而，存储词嵌入极其消耗内存。为了使深度神经网络在超过10万项技能中实用，某机构科学家将大型共享通用嵌入存储与小型、局部的技能特定嵌入存储相结合。
最后，大量的非线性隐藏层使深度神经网络能够学习输入信号和目标输出之间更复杂的相关性。正是这些综合优势，使得深度神经网络的表现优于最大熵-条件随机场模型。
致谢： 感谢整个Alexa科学和自然语言理解团队，是他们让这里强调的创新成为可能。FINISHED
