性价比之王,Haiku和luna对比测试!

462 阅读5分钟

终于,Claude 最便宜的模型也发布了!

现在,我就很好奇了:全球范围内,哪个模型才是性价比之王?

价格其实很清晰!

我让 G 哥整理了一个表格,供大家参考:

模型名称输入价格缓存命中输出价格
**1. **DeepSeek-V4.1-Flash(梁文谷)¥1.00¥0.02¥4.00
2. GLM-5.3-Flash¥0.15¥0.23¥0.50
3. MiMo-V2.6-Flash¥1.00¥0.02¥2.00
4. Qwen3.8-Flash¥0.80¥0.10¥2.70
5. GPT-6 Luna$0.10$0.025$0.50
6. Claude Haiku 5.5 (<100K)$0.10$0.01$0.50

(美元我没换算,大概6.7的比例吧)

那么能力就直接决定性价比了。

今天主要是测试和对比下 GPT-6 Luna 和 Claude Haiku 5.5 。

先让国外的模型来做一个 PK,选出“性价比之王”。

国内的模型最近没响动,我等一波更新,再写,估计快要来了!

其他我就不多说了。

先给大家看测试结果,然后看一下 Token 消耗情况,我也会记录下不同测试消耗的时间。

我们的题目测试这些模型“表现非常出色”,成功难倒了它们!

下面就看具体的结果吧!

视觉推理题

大家都是多模态模型,所以我先测一个视觉推理题目。

为什么要测试这个题目呢,因为这个题目能区分出能力。

目前我测过的所有国产模型,都无法 100% 正确。GPT-6 之前,和 Claude 5.5 之前的模型亦如是!

我的题目是这样的:

我总共测了五轮!

然后我说一下两个模型的测试结果!

GPT-6 Luna 的准确率 40%,下面这个回答很有代表性:

经验主义错误!但凡实测一下记忆不容易错。

Claude Haiku 5.5 的准确率 60%!

这一轮测试 Haiku 小胜,但是它们都没法 100% 回答正确。相比自家的大哥二哥确实差了一点。

我补充一点参考数据:

Opus 5.5 和 Sonnet 5.5 是可以 100% 的。

GPT-6 可以全对!GPT-5.6 Sol 准确率 60%

国产模型的话,我之前测过的几个模型,准确率也都不高,应该都不到 60%!

赛博上河图

这个题目,对它们来说好像有点难。表现都不是很好!

Luna 的结果:

耗时 1 分钟

Haiku 的结果:

耗时 8 分钟

两个模型都给了他们修改优化的机会,提升比较有限,能力上限被锁死了。

这个例子无论动画,配色和细节都是 Haiku 好一些!

Luna 的船都上天了,一个人也没有,果然很赛博朋克,但这显然是个巨大的错误!

天文机械表

Luna 的结果:

耗时 2 分钟

Haiku 的结果:

耗时 8 分钟。

视觉效果和审美部分大家可以评判一下,我就不多说了。钟表的界面基本上都没有问题,这一点要比很多国产模型要好!

功能方面 Luna 基本没啥问题,Haiku 出现一个低级错误,导致钟表不走。

经过提示,立马修复了。

这里还有一个问题,这些低级模型,对意图的理解不是很精准。

我的提示词中有类似“只输出最终代码,不要解释,不读取和修改当前目录的文件,单独保存一个页面”。

导致它们误会了,直接在对话中输出代码,然后特地把代码文件保存到了项目目录外。

其实我的意图是:让它们不要废话,然后不要参考已经存在的文件,不要修改已经存在的文件,单独保存一个文件。

这里面确实有一定的歧义,但是高级模型的操作,基本和我的预期一致。会在项目中单独保存一个文件。

小模型,调教起来就比较累,需要你说得很清楚才行。

这一轮的表现:应该说是 Luna 优于 Haiku 了,而且也很快。

超级玛丽

这个题目对于大杯模型,已经不算问题了,轻松搞定!但是对于这种小杯模型,还是特别难。

Luna 的结果:

耗时 4 分钟。

Haiku 的结果:

耗时 50 分钟。

从结果来看,Luna 要比 Haiku 好一些。但是两个都不咋地!

Haiku 的问题是查资料查太久了:

查了 36 分钟,我受不了,中途催促了一下!然后它告诉我地图和角色信息还没拿全。然后做完之后,角色是它重新设计的。虽然设计得也不错,但是不符合我的预期。另外它后面的地图还原度也不高。

Luna 很快,但是地图都是糊的,刚开始第一幕,就有问题。

没想到啊,它们在超级玛丽的表现上,和卧龙凤雏这些选手对齐了。

这个例子整体表现一般,不如一线的国产模型!

主要是它们大哥二哥太强了,小弟就很有分寸感,不做任何高智商的事情。

配额消耗情况

我都是用的 20 美元的订阅套餐。Luna 是在 Codex 中使用的。Haiku 是在 Claude 桌面版中使用的。

我的 Claude,因为被我消耗得差不多了。开始测试时,已经只剩 90% 的周配额了!

我先来对比一下 Haiku 的消耗情况:

四个题目测完,大概只消耗了 4% 的五小时配额,周配额完全没变。

下面是 Luna 的情况:

大概只消耗了 2% 的五小时配额,周配额也没有动。

整体看起来,Luna 处理问题更快,消耗也更少。Haiku 思考更全面,消耗也相对多一些。

价格基本和它们的 API 是保持一致的。差别主要是两者思考程度不一样(我设置的思考等级是一样的)。

另外还有一个细节,Claude 的周配额包含的五小时周期,要比 Codex 多好几轮。

关于模型选择的话,能力范围内,如果求快可以选 Luna,如果还要求稳,就选 Haiku。

整体来说,消耗都很低。

世道变了,美国的模型,居然 Token 多到用不完了,套餐价格也不贵!

按这个消耗情况,有些低智商的任务,干起来完全不用担心配额,可以玩得很爽。

至于开头的问题,我觉得它们差不多,性价比都挺高!

但是,我心目中的“性价比之王”是Opus5.5 !(性能分太高了)

完整的测试结果,我会同步到:

topai.jarvisuni.com