数学击败 o1-preview,成本仅为十分之一,并且几乎没有思考延迟!
OpenAI《Her》全量开放同一天,谷歌 Gemini 1.5 迎来重大升级。
除此之外,价格也是原来的一半,速度限制提升 2-3 倍;输出速度提升 2 倍、延迟降为原来三分之一。
开发者可以通过 Google AI Studio 和 Gemini API 免费访问。聊天版本还得再等等。
不过也有网友发现了华点,虽然数学能力很强,但还是没有打败 o1-mini 以及 o1 完整版(94.8)。
谷歌 Gemini 1.5 大升级
此次更新的有两个型号:Gemini-1.5-Pro-002 和 Gemini-1.5-Flash-002。
总结来说,主要有这些更新:
-
对于 1.5pro(输入和输出都小于 128K),降价幅度大于 50%。
-
速率限制提升 2-3 倍;
-
输出速度提高 2 倍,延迟降低 3 倍;
-
更新了默认过滤器设置。
首先,提升了整体性能,尤其在数学、长文本以及多模态方面。
在 MMLU-Pro 上性能提高约 7%;而在 MATH 和 HiddenMath(内部保留的竞赛数学问题集)基准测试中,两种模型有约 20% 的显著改进,其中 Pro 版本以 86.5% 的成绩超过了 o1-preview(85.5%)。
除此之外,在视觉理解和代码代码生成的评估中也有 2%-7% 的提升。
根据开发人员的反馈,这两个模型现在都采用了更简洁的风格,目的是使这些模型更易于使用并降低成本。
对于摘要、问题解答和提取等用例,更新后模型的默认输出长度比以前的模型短 5-20%。
价格方面,1.5pro 输入 token 降价 64%,输出 token 降价 52%,对增量缓存 token 降价 64%,10 月 1 日开始生效。
速率限制也有所提升,1.5 Flash 的付费速率限制从 1000RPM 提高到 2000RPM;1.5 Pro 速率限制从 360RPM 到 1000RPM。
另外,输出速度提高 2 倍,延迟减少为原来的三分之一。
对于新模型,过滤器已切换成可选,默认情况下不会应用过滤器。
最后的最后,还有 Gemini 1.5 Flash-8B 实验版本更新,在文本和多模态能力方面都有显著的提升。
网友水灵灵地测试上了
有网友就这么水灵灵地测试上了。
他测试了 Gemini 1.5 Flash 的音频转录功能。后者能在 50-60 秒内转录 13 分钟音频。
多个音频文件测试结果中,转录准确率接近 99%。如果音频清晰,准确率能达到 100%。
有网友测试了它的视觉理解能力,结果顺利通过,之前难倒了一众视觉模型。
不过讨论最多的还是它数学能力的提升。
不过倒也有网友表示,数学基准也没啥用。它已经饱和,而且污染了大多数模型的训练数据。在现实世界的数学难题里,这些还是没办法跟 o1 系列相提并论。
虽然但是,谷歌升级模型还有一个用处。
那就是 push 一下 OpenAI,赶紧发布新模型,以此来 “夺回王冠”。
什么时候赶紧把 o1 完整版发了。(Doge)
参考链接:
[1]developers.googleblog.com/en/updated-…
[2]www.reddit.com/r/singulari…
— 完 —