汪尐汪汪
摸鱼工程师
|
汪汪大队
获得徽章 0
赞了这篇文章
![[强]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_79.6185c09.png)
赞了这篇文章
![[熊吉]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_101.dec591d.png)
![[看]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_97.39cdc9f.png)
赞了这篇文章
![[吐舌]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_95.6b0752f.png)
~![[不失礼貌的微笑]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_16.9d17f6d.png)
![[皱眉]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_71.e8c2090.png)
赞了这篇沸点
Google最近发布了Gemma，这是一组新的开源大型语言模型，规模分别为2B和7B。根据公布的信息，Gemma的性能超过了Llama2（在7B和13B规模上）以及Mistral-7B模型。特别值得注意的是，Gemma模型可以免费用于商业用途，这一点对于希望使用这些技术的公司和开发者来说是一个巨大的利好。
在过去的一年中，Llama2的发布激发了社区建立了许多分支版本，而Gemma凭借更优的基线性能，为大家提供了另一个可用的基础模型。这种开放源代码的趋势将进一步加速预训练系统的普及，不仅在纯文本推理领域，还包括多模态系统。
实际上，社区正逐渐转向一系列小型的“专家”模型，而不是单一的“通才”模型，因为这对于开发可靠的应用程序来说，更加实用易于采用和适应。特别是在使用混合专家（MoE）进行微调的模型经常比大型通用模型表现得更好的情况下，这一趋势变得尤为明显。
🚀2024年，随着社区展示了通过MoE微调的模型往往优于大型通用模型，这一年将是展现这些成果的一年。
ai.google.dev
在过去的一年中，Llama2的发布激发了社区建立了许多分支版本，而Gemma凭借更优的基线性能，为大家提供了另一个可用的基础模型。这种开放源代码的趋势将进一步加速预训练系统的普及，不仅在纯文本推理领域，还包括多模态系统。
实际上，社区正逐渐转向一系列小型的“专家”模型，而不是单一的“通才”模型，因为这对于开发可靠的应用程序来说，更加实用易于采用和适应。特别是在使用混合专家（MoE）进行微调的模型经常比大型通用模型表现得更好的情况下，这一趋势变得尤为明显。
🚀2024年，随着社区展示了通过MoE微调的模型往往优于大型通用模型，这一年将是展现这些成果的一年。
ai.google.dev
展开
评论
3
![[鼓掌]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_64.6c4f6bb.png)
赞了这篇沸点