大模型RAG知识问答盛宴:CCF、中兴、智谱AI、阿里、清华、中科院、必示等举办挑战赛!

442 阅读6分钟

随着人工智能技术的飞速发展,大模型技术正成为推动行业变革的重要力量。为探索大模型检索增强RAG技术在运维知识问答领域的创新应用,中国计算机学会特举办“2024 CCF国际AIOps挑战赛”。

图片

本次挑战赛由中国计算机学会(CCF)主办,中国计算机学会互联网专委会、清华大学、中国科学院计算机网络信息中心承办,中兴通讯、北京智谱华章科技有限公司、中南大学计算机学院、清华大学计算机科学与技术系、北京必示科技有限公司协办。汇聚工业界和学界的顶尖合作方资源,聚焦基于大模型检索增强(RAG)的运维知识问答能力,为参赛者提供一个展示才华、交流学习的绝佳平台。

基于检索增强的运维知识问答挑战赛

本次挑战赛以“基于检索增强的运维知识问答”为赛题,旨在探索如何结合领域私有技术文档进行高效私域知识问答。我们首次采用大模型检索增强(RAG)技术,基于中兴5G领域运维技术文档,揭示在通用大语言模型基座下,垂直领域知识问答面临的领域知识缺失、公私域知识冲突、多模态图表并存等一系列挑战。

参赛队伍需要通过私域文本处理、数据库构建、基座模型微调、Prompt工程等其中部分技术,搭建运维领域的检索增强问答系统,或基于大赛主办方搭建的基础RAG系统之上,修改部分模块,提升私域知识问答精度。大赛主办方会使用公开的私域文档相关的问题和专家标准答案对选手的答案进行评测,实时更新榜单。

知名大厂,顶尖资源,助力创新

本次挑战赛汇聚了行业领域内众多知名企业的力量,我们得到了中兴、智谱AI、阿里、魔搭社区、必示科技的资源支持,为我们提供了以下丰富资源:

  • 中兴的5G数据集:本次挑战赛得到了中兴的数据资料支持,提供了约4万页的垂直领域文档,涵盖DIRECTOR、UMAC、EMSPLUS、RCP等5G核心模块。这些数据集将为参赛者提供真实、复杂的运维场景,助力他们在大模型领域取得突破。

  • 智谱GLM-4模型接口与免费tokens:智谱AI提供的GLM-4模型接口,以及每个账号200万免费tokens,将为参赛者提供强大的自然语言处理与智能推理能力。

  • 阿里通义千问Qwen1.5-14b模型:阿里开源Qwen1.5-14b模型将为参赛者提供先进的问答系统基础,助力他们在运维知识问答领域实现创新。

  • 魔搭社区环境:魔搭社区为参赛者提供了100个小时24GB显存的GPU以及比赛期间的免费CPU资源,确保参赛者能够高效地进行模型训练与部署。

  • 必示科技赛事运营:挑战赛网站平台建设,七届挑战赛赛事运营经验,提供专业AIOps智能运维领域行业实践指导。

顶尖高校及科研机构权威参与

本次挑战赛得到了CCF、清华大学、中国科学院计算机网络信息中心与中南大学等高校及科研机构的权威参与,将为赛事提供专业的专家组意见、赛题赛制设置、学术指导以及公正评审和监督。

奖金丰厚,激励创新,总奖金池14万

本届大赛奖金池总额¥140,000,两个赛道合并评分。一等奖1名,奖金¥50,000;二等奖2名,奖金¥30,000;三等奖3名,奖金¥10,000。

报名参赛赢取丰厚奖金!

报名:aiops-challenge.com

双赛道竞赛 报名踊跃

赛道一:使用开源的Qwen1.5-14b模型,可以自由选择对模型微调或不微调,进行RAG问答。

赛道二:调用智谱GLM4的API接口,模型不能微调,模拟在特定场景下没有自己微调模型能力的运维场景。

参赛队伍自由选择赛道,可以两个赛道都参加,也可以只参加一个赛道,最终成绩按照最好排名的赛道计算。截至目前,两个赛道的参赛队伍均超150+,报名人数超200+。

报名方式与时间

报名时间:2024年5月12日-6月11日

报名流程:参赛选手在官网(aiops-challenge.com) 进行注册,按照提示填写账户资料、绑定手机号、进行实名认证,实名认证经审核通过后,即可点击“参加比赛”报名。

创建队伍:选手报名后自动创建团队,可邀请其他成员加入,组队完成后由队长“确认组队完成”。

社群答疑

更多赛事相关信息将在社区“智能运维前沿”公众号发布,同时OpenAIOps社区群将提供赛事通知、技术答疑,有意者可扫码添加官方微信号(OpenAIOps社区小助手)入群。

图片

关于CCF 国际AIOps挑战赛

CCF国际AIOps挑战赛(China Computer Federation International AIOps Challenge)由清华大学联合中国计算机学会(CCF)自2018年共同发起。旨在借助社区力量,运用人工智能算法解决各类运维难题。迄今为止已经成功举办六届,吸引了大量AIOps从业者和关注者,随着赛事规模和影响力的不断扩大,形成了运维行业著名的专业赛事品牌,并逐渐发展为智能运维领域最具影响力的专业赛事。

2024 (第七届)CCF国际AIOps挑战赛由中国计算机学会(CCF)主办,中国计算机学会互联网专委会、清华大学、中国科学院计算机网络信息中心承办,中兴通讯、北京智谱华章科技有限公司、中南大学计算机学院、清华大学计算机科学与技术系、北京必示科技有限公司协办。同时,本届AIOps挑战赛也是OpenAIOps社区成立之后第一届重要年度赛事。 

图片