啧啧啧啧丶
前端
|
摸鱼科技
天天摸鱼
获得徽章 0
- 马斯克的大模型 Grok-1 开源了，这是一款拥有3140亿参数的先进混合专家模型，截止目前参数量最大的开源大语言模型。
这个版本包含了Grok-1在2023年10月完成预训练阶段时的基础模型数据。这意味着模型尚未经过针对特定应用（如对话系统）的微调。
根据Apache 2.0许可协议，向公众开放模型的权重和架构。
模型详细信息
- 该基础模型通过大量文本数据训练而成，未专门针对任何具体任务进行优化。
- 3140亿参数构成的混合专家模型，其中25%的参数能够针对特定的数据单元（Token）激活。
- xAI团队利用定制的训练技术栈，在JAX和Rust的基础上，从零开始构建了此模型，完成时间为2023年10月。
- 模型参数数量高达3140亿
- 混合专家模型(Mixture of Experts, MoE)
- 每一个数据单元(Token)由2位专家处理
- 共64个处理层
- 用于处理查询的有48个注意力机制单元(attention heads)
- 用于处理键(key)/值(value)的有8个注意力机制单元
- 嵌入向量(embeddings)的维度为6,144
- 采用旋转式嵌入表示(Rotary Position Embeddings, RoPE)
- 使用SentencePiece分词系统处理，包含131,072种数据单元
- 支持激活数据分布计算(activation sharding)和8位数字精度量化(8-bit quantization)
- 最大序列长度为8,192个数据单元，以处理更长的上下文信息
相关链接：
github.com、x.ai 展开513 - 2024年3月19日，Ai会有哪些大事情呢？
![[比心]](//lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_113.582f64b.png)
![[抱拳]](//lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_120.6c3effe.png)
我来帮各位整理下
1.Kimi 启动 200 万字无损上下文内测
2.国内首个AI导演AIM上岗
3.高通发布第三代骁龙8s，支持100亿参数大模型
4.Cognition AI程序员代码能力超Claude 2
5.VideoAgent提升大模型长视频理解能力
6.Colossal-AI开源Open-Sora 1.0视频生成模型
7.华硕推出LU800系列手持式B超仪：AI人工智能辅助、支持连接手机
8.马斯克：Grok大模型开源
9.国产无人驾驶船今年交付：支持远程遥控、自动靠泊
10.苹果谷歌和OpenAI商谈iPhone大模型使用展开评论5
热爱追剧的你看过来！作为 Tauri 初学者，我尝试学习开发了一款超实用的追剧桌面应用，现已开源，欢迎大家体验并反馈 bug！一起来学习吧 🚀
github.com![[比心]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_113.582f64b.png)
![[抱拳]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_120.6c3effe.png)
我来帮各位整理下
