当用户向语音助手提问时，语音助手会像玩20个问题的游戏一样，尽可能用最少的轮次来满足请求，确定上下文和具体细节。去年夏天，一位在某中心语音AI团队实习的研究生，利用其统计学背景开展了一个帮助语音助手理解用户意图的项目。
她运用统计技术改进了驱动语音助手的机器学习模型的训练和性能。例如，她将重要性加权和变分推断等统计概念应用于对比学习，使模型在训练过程中仅关注最相关的答案。这使模型训练更加稳定和高效。她的工作基于信息理论，该理论为衡量和量化问答对中包含的信息量提供了原则性框架。
"通过融入这些统计技术，我能够提升算法性能，"该研究人员表示。"该算法可以使用小批量进行训练，而不会影响整体性能，使其适用于实时交互。这对训练深度神经网络等大型模型具有重要意义。"
现在，她正在进行第二次实习，这次实习与通过某中心与某大学联合发起的高效稳健机器学习计划授予的奖学金相关。该计划于2022年3月启动，专注于高效和稳健的机器学习研究。
机器学习入门
该研究人员在中国某大学学习应用统计学，在进入某大学攻读博士学位之前对机器学习了解不多。她的导师要求她使用Python编写一个机器学习问题的统计解决方案。
她自学了Python，并开始与计算机科学学生和学术同事合作，利用使用统计学理论和概念的方法来改进机器学习模型的训练和性能。
更广泛地说，她的博士研究集中在从数据中提取最有价值信息的同时更有效地使用计算资源的策略。"提高数据质量或更有效地从数据中提取信息对机器学习越来越重要，而这正是统计学家的强项，"她说。"这在统计文献中正式称为实验设计，机器学习社区对此了解较少，但具有改善机器学习实践的巨大潜力。"
例如，在某大学期间，她与现在在某中心担任导师的应用科学家合作开发了一种技术，使能够使用小数据集训练用于计算机视觉和自然语言处理的机器学习模型。用于这些类型应用的训练模型通常需要大型数据集和丰富的计算机资源。
这项工作利用了统计概念，如衡量变量之间依赖关系的互信息，以及变分推断。"变分推断是一个强大的工具，因为它用简单、廉价、准确的统计近似重新表述了复杂、昂贵的问题，"她说。
她们的方法比当前最先进的解决方案效率高八倍。研究人员在2022年神经信息处理系统大会(NeurIPS)上展示了他们的工作，此后他们继续改进这项技术，这是她博士研究的基础。
在某中心将统计学应用于机器学习
在第一次实习期间，她每周与语音AI团队的同事会面，他们帮助她将统计技能应用于现实世界的机器学习问题。例如，他们建议她需要一种策略，不仅要从不完整的信息中理解用户意图，还要从错误信息（如搜索电影时输入错误的演员姓名）中理解用户意图。
"我需要思考这个问题并改进我的模型，"她说。"这是一个非常宝贵的见解。如今，当我进行研究时，我总是在想，'还有什么我需要考虑的吗？'"
在第二次实习中，她正在帮助她的导师及其团队进行下一代机器学习技术的基础研究，该技术将对齐计算机视觉和语言模型，使多模态模型能够利用多媒体内容中的信息回答问题。
她还参与内部团队的探索性对话，讨论用有限的、有针对性的数据训练大型语言模型的新方法，以减少生成式AI系统的训练时间。
她相信，仅使用最具信息量的数据来训练和微调生成式AI模型将克服训练这些类型模型的一些计算资源限制。"这是一个非常热门的话题，"她说。"多模态是一个非常重要的研究领域。我很幸运被分配到这个项目。"
对学术的奉献
她的导师指出，她在实习期间获得的行业经验将为她未来的学术研究提供信息。"她将 firsthand 了解行业应用科学家面临的挑战，"他说。"这将为她提供许多新研究主题的机会，并为她的研究影响人们的生活提供直接路径。"
最终，她希望凭借统计学博士学位追求学术生涯。"我的梦想是成为一名教授，"她说。"我认为研究非常有趣，因为我可以解决我感兴趣的不同类型的问题。"
在那里，在某中心实习的另一个教训将被证明是关键：需要与从不同视角和专业领域处理项目的同事和团队成员沟通。在她与某中心导师和经理的每周会议中，她学到了沟通技巧如何推动他们的职业生涯。要在学术界成为一名教授，重要的是用"简单的词语向具有不同背景但想解决相同问题的人表达技术概念，"她说。
