九强晋级:多模态大模型社交机器人半决赛

3 阅读6分钟

九支团队晋级Alexa Prize社交机器人挑战赛半决赛

第五届挑战赛引入新元素,并有四支新晋竞争者角逐100万美元研究资助。

作者:Alexa Prize团队 2023年5月9日 | 5分钟阅读

去年11月,某机构宣布从全球范围内选拔出九支大学团队,参加第五届Alexa Prize社交机器人挑战赛 (SGC 5)。这是一项旨在推进人机交互和开放域对话的大学挑战赛。截至目前,根据初期用户反馈阶段的表现,九支团队全部晋级半决赛。

本次挑战赛于去年11月开始,入选团队包括五支回归队伍——其中两支是上届挑战赛的前两名——以及四所新加入的大学。

团队大学指导教授
回归
Alquist布拉格捷克理工大学Jan Šedivý
Athena加州大学圣克鲁兹分校Xin Wang
Chirpy Cardinal斯坦福大学Christopher Manning
Thaurus马德里理工大学Luis Fernando D’Haro
Tartan卡内基梅隆大学Alexander Rudnicky
新晋
NAM史蒂文斯理工学院Jia Xu
GauchoChat加州大学圣塔芭芭拉分校Xifeng Yan
CharmBana伊利诺伊大学香槟分校ChengXiang Zhai
HokieBot弗吉尼亚理工大学Lifu Huang

某机构Alexa AI应用科学经理、领导支持Alexa Prize的科学与工程团队的Michael Johnston表示:“自2016年创立以来,社交机器人挑战赛推动了神经响应生成以及大语言模型在开放域对话中应用的重大技术进步。今年,SGC5的团队正在将各种不同的大语言模型应用并集成到他们的社交机器人中,看到他们能为用户带来的那种引人入胜的互动体验,令人无比兴奋。”

参赛团队还面临SGC5新引入的挑战:他们的社交机器人必须提供 compelling 的多模态用户体验,将语音与视觉相结合。团队们正在探索广泛的方法,包括情感化虚拟形象、同步图形与多媒体、图像生成,以及使用提示和触摸输入的多模态对话。

Johnston补充道:“在决赛中,究竟哪些方法会被证明最为有效,这将非常有趣。”

某机构Alexa AI高级首席科学家兼Alexa Prize负责人Reza Ghanadan表示:“创造一个善于社交的AI是一个难题。这是因为类似人类的社交对话非常微妙和复杂,而社交机器人对话的开放域性质使其极具挑战性。你需要对广泛的话题提供相关且有深度的回应,具备区分现实与想象的意识,在潜在的长对话中保持自然连贯的交流,并通过正确理解对话中出现的名称、话题、地点和产品,同时考虑每轮对话的上下文,来准确解读用户意图。你还必须使互动生动、稳健且引人入胜,考虑到用户和话题的多样性,这非常具有挑战性。”

Alexa Prize是一个独特的产学研合作项目,它提供了一个敏捷的真实世界实验框架和工具,用于加速科学发现。大学生有机会在线启动创新项目,并根据用户的反馈快速调整。

Ghanadan说:“竞赛为研究人员和学生提供了数据、AI工具和一个敏捷的实验框架,以便在创造具有社交智能的数字助手这一高级课题上进行创新,鼓励他们探索在现实世界中可实现边界的变革性想法。”

用户可以通过在设备上说“Alexa, let’s chat”来与大学的社交机器人互动。用户的评分和反馈帮助学生在决赛前改进他们的机器人。

最终目标是完成“大挑战”:从评审小组获得4.0或更高(满分5分)的综合评分,并且让评审们发现在最后一轮评审中,至少三分之二与社交机器人的对话在20分钟内保持连贯和引人入胜。第一个完成大挑战的团队将为其大学赢得100万美元的研究资助。

今年竞赛的更新

如上所述,这是社交机器人挑战赛首次整合多模态用户体验。除了口头对话外,使用带屏幕设备或电视的用户可能会看到增强对话体验的图片或文字。团队有机会通过添加更多能提供多样化和有意义信息的文本和图像来改善用户互动。

今年还设立了两类奖项:一类针对整体社交互动表现,一类针对科学创新。竞赛整体表现奖的奖金为:第一名25万美元,第二名5万美元,第三名2.5万美元。

新设立的科学发明与创新奖允许团队专注于通过更深入地研究开放域对话的基础来推动对话AI领域的发展。科学贡献的现金奖将颁发给获胜团队的学生——第一名25万美元,第二名5万美元,第三名2.5万美元。

独特的挑战

社交机器人挑战赛为学生研究人员提供了一个独特的机会,让他们体验和学习自己的想法如何在现实世界中运作。

Ghanadan说:“我们认识到,成功要求研究人员创造通用的AI技术,并以恰当且吸引人的方式整合知识。它还涉及到解决自然语言理解和多模态语言处理、上下文理解、自然响应生成、同理心、常识推理、理解社会规范以及对话管理等开放的研究问题。”

每支入选的大学团队将获得高达25万美元的研究资助、支持设备、免费的某云计算服务以支持其研发工作、接触某机构科学家的机会、Cobot工具包以及其他工具,例如通过某机构实现的自动语音识别、神经检测与生成模型、对话数据集,以及来自Alexa Prize团队的设计指导和开发支持。

在以往的挑战赛中,参赛团队通过开发改进的自然语言理解系统、神经响应生成模型、常识知识建模和对话策略,推动了开放域对话系统的最新技术发展,从而实现了更流畅、更具吸引力的对话。

来自布拉格捷克理工大学的“Alquist”团队赢得了第四届挑战赛,斯坦福大学和纽约州立大学布法罗分校的团队分获亚军和季军。该届挑战赛的论文可在此处查阅。往届的获胜团队包括埃默里大学、华盛顿大学和加州大学戴维斯分校。FINISHED