Inkling 2 Small 发布,基准测试大幅超越前代但不敌同级对手

0 阅读1分钟

文章封面

Inkling 2 Small 在 2026 年 11 月 5 日发布,总参数量 594B,激活参数 17B,视觉编码器参数量 292M。这是针对前代 Inkling Small 的迭代,多个基准测试分数明显上升,但和同期其他厂商模型放在一起比较,排名多处于中间位置。

基准分数,对上一代大幅提升

AutomationBench-AA 上,Inkling 2 Small 得分从 5% 升至 46%。FrontierCode 2.0 从 5% 升到 25%(aihot 的数据;hackernews 的数据为 25.4%,两者差异未知,可能是测试轮次或四舍五入导致)。HLE-Diamond 从 12% 升到 29%。CritPt v2 从 Inkling Small 的 34% 升到 Inkling 2 Small 的 56%。

这些对比都是同一模型家族内部的新旧版本比较,提升幅度较大,但不能直接说明新模型在绝对水平上处于行业前列。

横向对比,部分任务落后同级模型

和其他厂商模型放在一起比较,Inkling 2 Small 的位置并不突出。

FrontierCode 2.0 上,Inkling 2 Small 的 25.4% 高于 Claude Sonnet 5.5(medium)的 11%、GLM-5.3-Flash 的 14.2%,但低于 DeepSeek-V4.1-Flash-1017 的 28.5%,hackernews 称后者是该项中报告的最高分。

CritPt v2 上,Inkling 2 Small 的 56% 低于 Gemini 3.8 Flash(high)的 65%。

DeepSWE v1.1 上,Inkling 2 Small 得分 72.1%,hackernews 称这是该项报告的第二高分。SWEBench Pro v2(Hard)上,Inkling 2 Small 得分 86.3%,同样是第二高分,Kimi K3 以 88.2% 排在首位。Vibe Code Bench v1.1 上,Inkling 2 Small 得分 81.6%,来源未给出同场对比的其他模型分数。

多次出现的第二高分表述说明该轮测评里还有其他未列出的参赛模型,具体名单未知。

幻觉率下降,但回答意愿也在收缩

AA-Omniscience v1.1 这项评测同时记录准确率、尝试率和幻觉率三个指标。Inkling 2 Small 的幻觉率从 Inkling Small 的 61% 降到 27%,准确率从 32% 微升到 34%,尝试率从 77% 降到 53%。

三个数字放在一起看,新模型面对不确定问题时选择不回答的比例明显上升,这是幻觉率下降的主要原因之一,不是单纯因为判断力变强。准确率几乎没变,模型在敢回答的那部分问题上答对的能力没有实质提升。

工程任务,速度落后头部模型

一项基于 DeepSeek-V3.2 稀疏注意力核(Transformer 架构中用于加速长序列计算的核心计算模块)优化的任务中,Inkling 2 Small 取得 6.02 倍加速,Claude Opus 5.5 取得 18.80 倍。这类任务考察模型自动编写和调优底层计算代码的能力,对需要用模型完成性能优化类编程任务的开发者而言,Inkling 2 Small 在这一项上的产出速度明显慢于 Claude Opus 5.5,选型时需要把这个差距计入迁移和调试的时间成本。

开放问题

目前没有 Inkling 2 Small 开发方或第三方机构对这些基准结果的公开评价材料,缺少相应来源,暂不构建业内反应。FrontierCode 2.0 上 25% 与 25.4% 两个数字出自不同来源,差异原因未知。

原文地址:tools.wflynn.cn/aitools/tre…

关注公众号「YourTools」,每天推送 GitHub 趋势与开源工具速报:

YourTools 公众号