利益相关:本文评测工具为作者所在创业团队(杭州佑护公司)开发的产品。
最近在做一个跨模型Prompt评测工具,顺手跑了一组真实对比实验,结果分享出来。
实验设计
用同一条提示词「帮我写一段护肤品小红书文案,目标人群25-35岁女性,产品主打抗衰」,分别丢给三个模型:
- DeepSeek V4 Pro
- 豆包 Seed 2.0 Pro
- 通义千问 Plus
四维打分结果
⚠️ 样本量:1条Prompt,仅供参考,不代表模型整体水平
| 维度 | DeepSeek V4 | 豆包 | 千问 |
|---|---|---|---|
| 任务完成度 | 8.5 | 7.2 | 8.0 |
| 格式规范度 | 8.0 | 6.5 | 8.5 |
| 模型适配度 | 9.0 | 7.0 | 7.5 |
| 落地实用性 | 7.5 | 8.0 | 7.0 |
几个发现
- DeepSeek V4 在「模型适配度」上表现突出——对 Prompt 中的角色设定和输出要求理解更到位
- 豆包在「落地实用性」上得分最高——写出来的东西更像真人写的,拿来就能用
- 千问在「格式规范度」上更好,严格遵守了输出格式要求
但这不是结论
这只是一个 Prompt、一个任务的实验结果。换一个任务(比如代码审查),排名可能完全颠倒。
所以跨模型评测的真正价值不在「哪个模型更强」,而在「你的这个任务用哪个模型更合适」。
工具本身
我们做的这个评测平台叫质鉴(promptest.cn),核心功能就是上面的流程:你给需求 → AI 生成专业 Prompt → 多模型并行跑 → 四维打分对比。Temperature 固定在 ≈0,保证评分一致性。
技术栈:React 18 + Node.js 24 + SQLite WAL,OpenAI 兼容协议接 19 个模型。免费词库 150+ 条,Pro ¥29.9/月。
试过类似工具的同学欢迎交流——你们选模型是靠感觉还是靠实测对比?
标签:Prompt评测、DeepSeek、豆包、千问、AI工具