►点击下方链接一键预约,AI 数据中台1.6.4版本发布会 mp.weixin.qq.com/s/qR6JUQ5XL…
【全文核心】
一、多模板引擎Prompt编辑:内置Normal、Jinja2、GoTemplate三套模板引擎,适配不同技术栈
二、评估器管理:支持LLM语义评估与Code规则校验,可自建评估器与打分标准
三、预置评估模板:提供相关性、正确性、幻觉现象等21种开箱即用LLM评估模板
四、多维度自动评测:支持正确性、幻觉、相关性、安全性多维度批量评分并输出评测报告
1、AllData大模型与AI数据底座的产品故事及其业务背景
技术开发人员在大模型Agent应用开发过程中,以及研发在构建大模型 Agent 应用时,常常面临提示词编写缺少灵活模板支撑、评测标准难以统一,人工核验成本高,幻觉、相关性、安全风险等问题不易批量量化,同时缺少可自定义的评估器与标准化评测流程,很难持续验证 Agent 在复杂任务下的输出质量问题?
基于这个场景以及业务需要,AllData快速集成开源项目CozeLoop,建设大模型应用评测功能,平台搭载多模板引擎提示词编辑能力,内置 Normal、Jinja2、GoTemplate 三套模板引擎适配多样技术栈,支持 LLM 语义评估与代码规则校验,允许自定义评估器与打分标准,预置涵盖相关性、正确性、幻觉检测等 21 套开箱即用的大模型评估模板,可从正确性、幻觉、相关性、安全性等维度完成批量自动评分并生成评测报告。
2、AllData大模型与AI数据底座产品解题方案
AllData 深度集成业界主流开源大模型 Agent 应用评测平台 CozeLoop,构建完整的企业级大模型评测体系,面向提示词、智能体、模型服务提供一站式自动化评测能力。
平台支持批量导入与执行测试样本,依托预置以及自定义的评估规则,从正确性、幻觉、相关性、安全性等多个维度自动量化打分,客观衡量模型与智能体的输出质量,并自动生成结构化、可追溯的标准化评测报告,帮助研发持续迭代提示词、优化智能体逻辑,把评测流程纳入企业数据资产、权限与审计统一管控链路。
Coze-Loop 开源地址:github.com/coze-dev/co…
Coze-Loop 官方文档:github.com/coze-dev/co…
一、多模板引擎 Prompt 编辑:三套模板引擎,适配多样化技术栈
内置 Normal、Jinja2、GoTemplate 三套 Prompt 模板引擎,满足不同开发人员、不同技术体系的编写习惯。 开发者可以使用模板变量动态传入评测样本、业务参数、参考标准答案,实现 Prompt 的复用与动态渲染,一份模板适配大批量评测样本。同时支持 Prompt 版本管理、对比调试,方便在不同评测实验中切换 Prompt 方案,快速验证提示词优化效果,降低提示词工程的维护成本。
1、Prompr项目
统一托管所有提示词模板,支持检索、新建、版本管理与操作,是Prompt资产的总览清单页面。
2、新建/编辑项目基本信息
3、选择列表中项目可查看项目详细内容。编辑更改后需要点击【提交新版本】进行正式保存。
4、对话模式下3个模版引擎选择
5、项目详细历史版本查看
只做变量替换选Normal;需要动态分支逻辑、后端Python技术栈选Jinja2;后端Go技术栈选GoTemplate。
点击【版本记录】可以查看该项目以往版本,支持一键还原历史版本。
6、项目详细对比模式(2组)
点击【对比模式】可以增加对照组/对比模式,核心目的是2-4组对比测试不同Prompt方案,用来直观评估修改Prompt之后大模型回答效果好坏,是Prompt调优、评测的核心能力。
✅ 对比方式:通过输入同一套测试问题、同一批变量,并排展示两边大模型输出结果,直接横向对比差异,快速判断Prompt优化是否有效。对比模式最多可设置4组。
7、项目详细对比模式(最多可增加到4组)
二、评估器管理:LLM 语义评估 + Code 规则校验,支持自定义打分标准
评估器是自动化评测的核心裁判,平台同时提供两种评估能力:LLM 语义评估、代码规则校验。 LLM 语义评估依靠大模型作为裁判,从语义层面理解回答内容,判断回答是否符合业务要求;Code 规则校验支持编写自定义代码,做正则匹配、字段校验、格式校验、数值范围判断等刚性规则检查。
用户可自主创建、编辑、版本化管理评估器,自定义打分维度、评分区间、判定标准,适配行业专属业务规则,不再局限于通用评测规则,满足法务、医疗、制造等强业务约束场景的评测需求。
1、评估器
这里是存放打分规则/评判标准,用来自动或者人工判定模型回答的合格程度,支持2种选择评估方式:大模型自动打分、人工标注打分。(评估器本质:打分规则定义器,用来告诉系统怎么评判大模型回答是否合格。)
自建评估器:存放和管理自行编写评估Prompt和自定义评判标准。
2、编辑/新建评估器页面
3、评估器新建/编辑时模版更换
评估器类型选型建议:
LLM评估器(大模型裁判评测):依靠大模型实现语义类主观质量评测(如:幻觉、正确性、相关性等)
适用场景:侧重内容质量、语义理解类评测。
特点:理解自然语言,适合模糊、开放类问答评测;可以判断逻辑、事实、风格、安全风险。
Code评估器(代码规则硬校验):通过固定代码规则完成确定性文本与格式硬校验(如:JSON、正则、关键词匹配)。
适用场景:格式、文本规则、结构化输出校验。
特点:结果稳定无随机性,适合结构化输出、固定格式、关键词强校验场景,只做规则比对,不理解语义。
三、预置评估模板:21 种开箱即用 LLM 评估模板,快速启动评测
内置 21 种预制 LLM 评估模板,覆盖大模型评测最常用的指标:回答相关性、答案正确性、幻觉识别、指令遵循、简洁度、安全性、合规性等。 业务人员无需从零编写评估 Prompt,选择对应模板即可快速发起评测实验。预置模板支持二次修改微调,在通用能力基础上叠加业务专属判定逻辑,兼顾开箱即用的便捷性和业务场景的定制化能力,大幅缩短评测体系搭建周期。
1、预设评估器
存放平台内置好的通用评估规则,开箱即用,无需自行编写Prompt
四、多维度自动评测:批量打分,自动生成可视化评测报告
支持批量导入评测样本集,一键发起自动化评测任务,从正确性、幻觉、相关性、安全性等多个维度对模型回答自动打分。 评测完成后自动聚合全量样本的评分分布、失败案例、错误明细,生成可视化评测报告,支持多模型、多 Prompt 版本横向对比,直观看到不同方案的优劣。
开发人员可以快速定位幻觉、答非所问、违规输出等 badcase,回流样本到训练数据集,反向优化基座模型、RAG 知识库和 Agent 流程。评测报告与 AllData 中台打通,评测结果可沉淀为数据资产,支撑模型持续迭代。
AllData:建设大模型应用评测底座
AllData 与 Coze-Loop 的组合,把大模型评测能力嵌入企业数据中台体系,实现评测样本、评测任务、评估规则、评测报告统一管控。依托多模板 Prompt、双类型评估器、丰富预置模板、批量自动评测,让大模型效果从 “主观感受” 变成可量化、可对比、可追溯的指标,为企业大模型上线、版本迭代、效果验收提供可靠的质量保障。