同一句Prompt,DeepSeek V4 vs 豆包 vs 千问:真实对比实验

0 阅读2分钟

利益相关:本文评测工具为作者所在创业团队(杭州佑护公司)开发的产品。

最近在做一个跨模型Prompt评测工具,顺手跑了一组真实对比实验,结果分享出来。

实验设计

用同一条提示词「帮我写一段护肤品小红书文案,目标人群25-35岁女性,产品主打抗衰」,分别丢给三个模型:

  • DeepSeek V4 Pro
  • 豆包 Seed 2.0 Pro
  • 通义千问 Plus

四维打分结果

⚠️ 样本量:1条Prompt,仅供参考,不代表模型整体水平

维度DeepSeek V4豆包千问
任务完成度8.57.28.0
格式规范度8.06.58.5
模型适配度9.07.07.5
落地实用性7.58.07.0

几个发现

  1. DeepSeek V4 在「模型适配度」上表现突出——对 Prompt 中的角色设定和输出要求理解更到位
  2. 豆包在「落地实用性」上得分最高——写出来的东西更像真人写的,拿来就能用
  3. 千问在「格式规范度」上更好,严格遵守了输出格式要求

但这不是结论

这只是一个 Prompt、一个任务的实验结果。换一个任务(比如代码审查),排名可能完全颠倒。

所以跨模型评测的真正价值不在「哪个模型更强」,而在「你的这个任务用哪个模型更合适」。

工具本身

我们做的这个评测平台叫质鉴(promptest.cn),核心功能就是上面的流程:你给需求 → AI 生成专业 Prompt → 多模型并行跑 → 四维打分对比。Temperature 固定在 ≈0,保证评分一致性。

技术栈:React 18 + Node.js 24 + SQLite WAL,OpenAI 兼容协议接 19 个模型。免费词库 150+ 条,Pro ¥29.9/月。

试过类似工具的同学欢迎交流——你们选模型是靠感觉还是靠实测对比?

标签:Prompt评测、DeepSeek、豆包、千问、AI工具