本文对比测试了DeepSeek V4.1-Flash-1017与Claude Haiku 5.5两款模型。在智能体错误修复、数据库查询和分类分流三项测试中，DeepSeek在准确率上略胜一筹或持平，且总成本仅为Claude Haiku的不到四分之一。
译自：DeepSeek V4.1-Flash-1017 vs. Claude Haiku 5.5: More accurate at a fraction of the price
作者：Jessica Wachtel
DeepSeek 于 10 月 17 日发布了 V4.1-Flash-1017，作为对其Flash 模型的更新。其更改日志称，此次更新缩短了任务运行时间和输出长度。它列出了 11 个基准测试分数，其中包括在 Terminal-Bench 4.0 上的 42.3 分。
开发者可以通过 DeepSeek 的 API 或 OpenRouter 等服务使用它。由于它是一个开放权重模型，他们也可以从 Hugging Face 下载并在自己的服务器上运行它。我通过 OpenRouter 在 DeepSeek 自己的服务器上、按 DeepSeek 的价格对其进行了测试。
DeepSeek 的模型卡片将此次更新与几个竞争对手进行了对比，但没有与 Haiku 5.5 进行对比，因此我选择了它来进行这次实测对比。Anthropic 于 10 月 7 日推出了 Claude Haiku 5.5，作为其标准速度下最快的模型，旨在处理高吞吐量任务，如分类、总结和数据库查询。
Anthropic 指出，其 Opus 模型在快速模式（Fast Mode）下运行速度更快。Anthropic 报告其在 Terminal-Bench 4.0 上的得分为 39.2，比 DeepSeek 报告的得分低 3.1 个百分点。这些是供应商报告的结果，而不是受控的直接对比测试。
对于最高 100,000 Token 的提示词，Haiku 的价格为每百万输入 Token 0.10 美元、每百万输出 Token 0.50 美元；超过该限制后，价格分别为 0.50 美元和 2.50 美元。DeepSeek 的非高峰期费率为：每百万未缓存输入 Token 0.15 美元，每百万已缓存输入 Token 0.003 美元，每百万输出 Token 0.60 美元；高峰期费率则是这些金额的两倍。
比较未缓存的输入和输出费率，Haiku 在短提示词上更便宜，而 DeepSeek 在长提示词上更便宜。实际费用还取决于 Token 化、缓存和提供商路由。
围绕每家公司宣称其模型擅长的领域，我构建了三个测试，以查看哪个模型在实际中表现更好。
测试
我通过 OpenRouter 对每个模型进行了每项测试一次的运行，分别固定在 DeepSeek 和 Anthropic 自己的服务器上，并使用默认设置。我将 DeepSeek 固定在模型 ID 1017，并且所有测试都在非高峰期运行。一个脚本根据我构建的基准答案对每个回答进行评分，并在任何模型看到它们之前通过第二种方法进行检查。
- 智能体漏洞修复：一个 Python 任务队列库，包含三个相互影响的漏洞和一个错误的测试。模型通过工具读取、编辑和运行测试，上限为 25 轮。
- 数据库查询：一个包含 20 个问题的假 CI 平台数据库，通过编写 SQL 来回答。陷阱包括软删除、大小写混合、重试构建、时区和货币换算。其中有两个问题无法从数据中得到答案。
- 分流（Triage）：400 份开发者错误报告，每份报告都需要分类、严重程度、服务和团队。总计 1,600 个评分字段。在 DeepSeek 上，提示词被计算为 153,082 个输入 Token，在 Haiku 上则为 216,811 个，超过了 Haiku 100,000 Token 的价格阈值。
智能体漏洞修复
DeepSeek 开局强劲，在第一个测试中击败了 Haiku 的准确率。DeepSeek 得到 6 分（满分 6 分）。Haiku 得到 5 分。尽管错误指向错误的文件，但两个模型都找到了第一个漏洞，修复了第三个漏洞，没有破坏任何回归测试，并在未触及错误测试的情况下将其标记出来。Haiku 在第二个漏洞的六个隐藏测试中漏掉了一个，而 DeepSeek 没有。
Haiku 在 8 轮和 21.6 秒内完成。DeepSeek 花费了 12 轮和 49.6 秒，但由于它自动缓存了大部分重复输入，成本仍然更低。我没有开启Anthropic 的提示词缓存（该功能需要手动启用）。这对比的是这些运行中使用的缓存设置；启用 Haiku 的缓存可能会改变成本对比。
数据：
- DeepSeek：12 次调用，190,139 输入，7,877 输出，0.009 美元，49.6 秒。
- Haiku：8 次调用，100,461 输入，3,255 输出，0.012 美元，21.6 秒。
数据库查询
这是唯一一个两个模型准确率打平的测试，双方都获得了 20 分（满分 20 分）。两个模型都识破了所有陷阱，并且对于数据无法回答的两个问题都回答了“未知”，而不是产生幻觉。Haiku 用更少的调用次数和更短的时间得到了答案。DeepSeek 的成本大约便宜了一半。
数据：
- DeepSeek：12 次调用，75,151 输入，4,608 输出，0.004 美元，34.9 秒。
- Haiku：7 次调用，55,304 输入，5,917 输出，0.009 美元，28.4 秒。
分流
准确率差异最明显的地方就在这里。DeepSeek 答对了全部 1,600 个字段。Haiku 答对了 1,596 个。其中两个失误是严重程度评级。路由指南规定，如果影响的用户少于 50 人或错误率低于 1%，则报告评级为 sev4。Haiku 将一个受影响客户为 49 人的报告评级为 sev3，将另一个错误率为 0.8% 的报告也评级为 sev3。这两者本都应该是 sev4。
Haiku 的另外两个失误是路由错误。指南规定，某项服务在 8 月 1 日迁移到了一个新团队，报告应根据其标头中的日期进行路由。Haiku 将两份在 8 月 1 日之后提交的报告发送给了旧团队。每份报告的正文中都提及了较早的 7 月日期，但仅凭输出无法解释为什么 Haiku 会选择旧团队。
同样的提示词在 DeepSeek 上被计算为 153,082 个 Token，而在 Haiku 上为 216,811 个。由于模型使用不同的分词器（Tokenizer），相同的文本可能会产生不同的 Token 数量。这使得 Haiku 处于更高的长提示词费率区间。它的成本为 0.28 美元，而 DeepSeek 为 0.06 美元。
数据：
- DeepSeek：153,082 输入，58,923 输出，0.058 美元，188.3 秒。
- Haiku：216,811 输入，69,354 输出，0.282 美元，228.9 秒。
结果
| 测试 | DeepSeek V4.1-Flash-1017 | Claude Haiku 5.5 |
| 智能体漏洞修复 | 6 分（满分 6 分） | 5 分（满分 6 分） |
| 数据库查询 | 20 分（满分 20 分） | 20 分（满分 20 分） |
| 分流字段 | 1,600 分（满分 1,600 分） | 1,596 分（满分 1,600 分） |
| 总 Token 输入 / 输出 | 418,372 / 71,408 | 372,576 / 78,526 |
| 总成本 | $0.07 | $0.30 |
| 总模型耗时 | 272.8 秒 | 278.9 秒 |
DeepSeek 和 Haiku 在准确率上不相上下。DeepSeek 在漏洞修复和分流任务上略微领先，而在数据库查询上打平。速度也很接近：Haiku 在基于工具的测试中更快，而 DeepSeek 在大型分流提示词中更快。成本才是真正的差距所在。DeepSeek 的成本为 0.07 美元，而 Haiku 为 0.30 美元，其中大部分差距源于那个将 Haiku 推入更高费率区间的长提示词。
我的看法如何？
对于这三次运行，我会选择 DeepSeek V4.1-Flash-1017：它在我的评分标准中获得了满分，并且在使用我所选的设置时成本更低。Haiku 在两个基于工具的测试中速度更快，而 DeepSeek 在分流测试中速度更快，在三次运行的总耗时中也略快一些。我每个测试只运行了每个模型一次，因此这些结果并没有确立普遍的准确率或速度优势，也没有显示出这两个模型在大规模运行时的表现。在做出生产环境选择之前，我会在自己的工作负载上对两者进行测试。
