赛事概述
自2024年11月以来，来自全球的十支顶尖大学团队参加了首届某中心Nova AI挑战赛：可信AI赛道，重点研究增强AI编程助手的安全性，并开发新的自动化方法来对其进行红队测试。经过数月激烈角逐，八支团队凭借在保护AI代码生成安全方面的卓越创新晋级决赛。决赛将于6月26-27日举行，评委将在加利福尼亚州圣克拉拉集中评审，各团队通过远程方式参与锦标赛式竞赛。
竞赛机制
在每轮锦标赛中，攻击方和防守方团队相互对抗。每次对抗中，攻击方通过有限次数的对话尝试诱导防守方生成恶意代码、存在漏洞的代码或协助恶意网络活动。除了防御成功率外，防守方模型还需评估其在支持编程任务方面的实用性。攻击方系统则根据攻击成功率和攻击多样性进行评估。在决赛阶段，除了锦标赛评估外，模型防御和攻击能力还将由人类红队专家进行专业评审。
决赛团队
决赛团队根据锦标赛表现、研究论文和创新展示进行选拔：
防守方团队（模型开发者）
- PurpCorn-PLAN团队：伊利诺伊大学厄巴纳-香槟分校
- Lioncoders团队：哥伦比亚大学
- AlquistCoder团队：捷克技术大学
- Purpl3pwn3rs团队：卡内基梅隆大学
攻击方团队（安全测试者）
- PurCL团队：普渡大学
- SaFoLab团队：威斯康星大学
- RedTWIZ团队：葡萄牙新星大学
- ASTRO团队：德克萨斯大学达拉斯分校
专家观点
某中心Nova AI挑战赛负责人迈克尔·约翰斯顿表示：“自11月以来，所有团队都在开发日益创新的方法，使AI辅助编程更加安全可靠。工作质量非常出色，使得决赛团队的选择极具竞争力。”
防守方团队致力于在代码生成模型中构建强大的安全功能，而攻击方团队则开发复杂技术来测试这些模型并识别潜在漏洞。双方共同努力，正在塑造安全AI开发的未来。
决赛形式
决赛期间，团队将通过远程方式参与离线锦标赛，评审团来自某中心人工通用智能团队、某中心安全部门、某机构负责任AI团队和某机构开发者Q团队。决赛将在受控竞赛环境中通过真实场景测试团队的解决方案。
伊利诺伊大学厄巴纳-香槟分校团队指导教师王刚博士指出：“这项挑战处于AI能力和安全性的交叉点，这是生成式AI负责任发展的两个关键领域。我们的学生不懈努力，开发出在不影响用户体验的前提下增强安全性的新方法。”
后续安排
决赛结束后，所有团队将于7月22-24日齐聚西雅图参加某中心Nova AI挑战峰会，届时将宣布获胜团队并分享研究成果。
领域推进
该挑战赛汇集了某中心的AI专业知识与顶尖学术人才，旨在加速生成式AI的安全创新。通过竞赛产生的研究成果将有助于为所有人开发更安全、更可靠的AI系统。
普渡大学张翔宇博士强调：“这项挑战的特别价值在于它将技术创新与现实应用相结合。我们的学生不仅是在竞争，更是在帮助解决现实世界的AI安全挑战。”
某中心Nova AI挑战赛是某机构致力于负责任AI发展和学术合作的更广泛承诺的一部分。
