Mistral Large 4是Mistral AI推出的1-trillion-parameter(万亿参数)多模态模型。官方博客公布了一系列基准分数,集中在编码代理任务和安全防护能力两方面,但目前只有官方自评数据,没有第三方复现或交叉验证。
编码与代理能力
在Cognition的FrontierCode 2.0基准上,Mistral Large 4得分19.7%,官方称这是该基准上的领先成绩。在Artificial Analysis Coding Agent Index上,得分48%。
官方称完成同样任务时,相较GLM-5.3平均减少47%的token(大语言模型处理文本的最小单元)使用量。来源未说明两个模型的测试任务集和评测环境是否一致,这个数字缺乏同口径说明,不能当作两款模型效率的直接对比结果,只作为官方披露的自评数据看待。
在Terminal-Bench 4.0上,Mistral Large 4相较自家公开预览版提升13个百分点,达到41%,同时输出token减少30%。这组对比是同一模型的预览版与正式版,口径一致。
安全与风险防护
在Artificial Analysis Cyber Index上,Mistral Large 4得分51%。面对恶意网络安全请求时,平均拒绝率96.6%。
在B3 Agent Security Benchmark(智能体安全基准)上,Mistral Large 4抵抗攻击的比例为97.1%,预览版为93.3%。这两个数字同样来自同一基准下的版本对比,口径一致。
其他基准表现
金融场景的FinWorkBench(Finch)基准上,Mistral Large 4得分73.3%。浏览类任务BrowseComp基准上,得分84.5%。官方提到这一分数的起点是一个SFT(监督微调)检查点,当时得分75%,经过后续训练迭代升至84.5%,具体训练方法来源未展开说明。
以上数据全部出自Mistral AI官方博客。没有第三方评测、竞品横向对照,也没有披露测试样本量和评测脚本版本等复现细节。开发者如果要参考这些分数做选型,需要等待独立评测结果,或者在自己的任务场景下实测,官方自评分数不能替代实际业务场景的验证。
原文地址:tools.wflynn.cn/aitools/tre…
关注公众号「YourTools」,每天推送 GitHub 趋势与开源工具速报: