Zhy18
摸鱼躺平狮
|
加里敦有限责任公司
获得徽章 0
- #每日快讯# Meta对Transformer架构下手了，新注意力机制更懂推理：
近日 Meta 研究者在论文《System 2 Attention (is something you might need too)》中认为，根本问题在于 Transformer 本身固有的构建方式，尤其是其注意力机制。也就是说，软注意力既倾向于将概率分配给大部分上下文（包括不相关的部分），也倾向于过度关注重复的 token
引爆OpenAI全员乱斗的Q*：
据 The Information 报道，由 OpenAI 首席科学家 Ilya Sutskever 领导的团队在今年早些时候取得了技术突破，使得他们能够构建一个名为 Q*的新模型。Q* 最关键的突破是它能够解决基本的数学问题。
又据路透社报道，Q * 模型引发了 OpenAI 内部的一场风暴，几名工作人员写信给 OpenAI 董事会，警告称这一新突破可能会威胁人类。这一警告被认为是董事会选择解雇山姆・奥特曼（Sam Altman）的原因之一。
小羊驼团队的Transformer新解码算法，预测token速度翻番：
小羊驼团队开发了一种新的解码算法，名为“Lookahead Decoding”，可以加速LLM推理。通过使用雅可比迭代法进行并行解码，可以提高模型预测100个token数的速度。这种算法可以简化部署，减少解码步骤，并且在单个GPU上实现快1.5倍-2.3倍的token数预测。这一研究对于加快大模型的推理速度具有重要意义。展开14
![[哭笑]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_61.a296509.png)