首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
优弧
掘友等级
VIP.5 如鱼得水
管理员丨首席客服君丨运营负责人
|
掘金
关于掘金的任何反馈都可以找我哈!可以加微信:chnyifan 或者 zwcatfly 进作者推荐群
获得徽章 27
掘金运营团队
动态
文章
专栏
沸点
课程
收藏集
关注
作品
赞
47.3K
文章 45.7K
沸点 1.6K
赞
47.3K
返回
|
搜索文章
优弧
VIP.5 如鱼得水
管理员丨首席客服君丨运营负责人 @掘金
·
1小时前
举报
@逃出升天之荒漠求生
怎么玩?
AI聊天室
分享
41
点赞
优弧
赞了这篇文章
宝玉的工程技术分享
Prompt Engineer
·
3天前
关注
为啥很多人觉得编程难学?
看到推特上网友菜脯写的一条推文: 看起来你是在写程序,其实你做的是产品,那就不是简简单单的编程,无法像刷 Leetcode 那样,刷一刷就熟了,而是要面对软件工程中的各种问...
8
7
分享
优弧
赞了这篇文章
东坡肘子
公共号:肘子的Swift记事本
·
9小时前
关注
肘子的 Swift 周报 #023 | 为应用配备隐私清单
欢迎访问 weekly.fatbobman.com 订阅本周报的电子邮件版本。周报将向您介绍近期有关 Swift、SwiftUI、Core Data、SwiftData 等...
3
评论
分享
优弧
赞了这篇文章
转转技术团队
VIP.5 如鱼得水
公众号:转转技术
·
7小时前
关注
这Proxy能干啥?
提到 proxy,貌似很多人的印象是这东西是实现 vue3 的核心,但好像除此以外就没有什么关于 proxy 实际应用的场景了。今天就重新在了解一下 proxy...
2
评论
分享
优弧
赞了这篇文章
百度Geek说
架构师 @百度
·
7小时前
关注
百度交易中台之系统对账篇
百度交易中台作为集团移动生态战略的基础设施,面向收银交易与清分结算场景,赋能业务、提供高效交易生态搭建。目前支持百度体系内多个产品线,主要包括:度小店、小程序、地图打车、文...
2
评论
分享
优弧
赞了这篇文章
虚拟世界的尼奥
Free @Matrix
·
1天前
关注
使用直接偏好优化微调 Mistral-7b 模型
预训练的大型语言模型(大语言模型,LLMs)本质上只能预测接下来的单词或符号(Token),这限制了它们直接回答问题的能力。为了让这些模型成为更实用的助手,开发者会通过训练...
1
评论
分享
优弧
赞了这篇文章
程序员Sunday
@公众号:程序员Sunday
·
1天前
关注
我们一直挂在嘴边的性能优化,到底指的是什么?
性能优化 与 网络安全 问题一直是前端面试中的高频问点,特别在中大厂面试中,尤其如此。最近 1v1私教训练营中很多同学就在面试中被问及到了前端性能优化相关问题~~...
4
评论
分享
优弧
VIP.5 如鱼得水
管理员丨首席客服君丨运营负责人 @掘金
·
1天前
举报
马斯克的大模型 Grok-1 开源了,这是一款拥有3140亿参数的先进混合专家模型,截止目前参数量最大的开源大语言模型。
这个版本包含了Grok-1在2023年10月完成预训练阶段时的基础模型数据。这意味着模型尚未经过针对特定应用(如对话系统)的微调。
根据Apache 2.0许可协议,向公众开放模型的权重和架构。
模型详细信息
- 该基础模型通过大量文本数据训练而成,未专门针对任何具体任务进行优化。
- 3140亿参数构成的混合专家模型,其中25%的参数能够针对特定的数据单元(Token)激活。
- xAI团队利用定制的训练技术栈,在JAX和Rust的基础上,从零开始构建了此模型,完成时间为2023年10月。
- 模型参数数量高达3140亿
- 混合专家模型(Mixture of Experts, MoE)
- 每一个数据单元(Token)由2位专家处理
- 共64个处理层
- 用于处理查询的有48个注意力机制单元(attention heads)
- 用于处理键(key)/值(value)的有8个注意力机制单元
- 嵌入向量(embeddings)的维度为6,144
- 采用旋转式嵌入表示(Rotary Position Embeddings, RoPE)
- 使用SentencePiece分词系统处理,包含131,072种数据单元
- 支持激活数据分布计算(activation sharding)和8位数字精度量化(8-bit quantization)
- 最大序列长度为8,192个数据单元,以处理更长的上下文信息
相关链接:
github.com
、
x.ai
展开
大模型生态圈
等人赞过
分享
5
11
优弧
VIP.5 如鱼得水
管理员丨首席客服君丨运营负责人 @掘金
·
2天前
举报
@掘金作者画像
1
AI聊天室
赞过
分享
4
2
优弧
VIP.5 如鱼得水
管理员丨首席客服君丨运营负责人 @掘金
·
4天前
举报
@隔壁老王
隔壁老王也不过如此啊?轻易破防。。
收起
查看大图
向左旋转
向右旋转
AI聊天室
等人赞过
分享
134
12
优弧
VIP.5 如鱼得水
管理员丨首席客服君丨运营负责人 @掘金
·
4天前
举报
@隔壁老王
周末去哪里玩?给一个建议?
AI聊天室
分享
8
点赞
优弧
VIP.5 如鱼得水
管理员丨首席客服君丨运营负责人 @掘金
·
4天前
举报
@历史上的今天
说
AI聊天室
赞过
分享
32
2
优弧
赞了这篇文章
我是哪吒
全栈架构师Java @微服务集群方向
·
4天前
关注
springboot第65集:字节跳动一面经,一文让你走出微服务迷雾架构周刊
如今要考虑做分库分表时,可首先选用当当网的Sharding-Sphere框架,早些年原本只有Sharding-JDBC驱动层的分库分表,但到了后续又推出了代理层的Shard...
2
1
分享
优弧
赞了这篇文章
腾讯TNTWeb前端团队
前端 @腾讯
·
4天前
关注
自己动手写 React 源码——【2】实现 JSX
深入理解 React 源码,带你从零实现 React v18 的核心功能,构建自己的 React 库。...
4
评论
分享
优弧
赞了这篇文章
得物技术
4天前
关注
如何扩展大模型的上下文长度
本文将基于比较火的 Llama 2 大模型的结构介绍上下文长度的方法与挑战,然后探讨一些业界流行的上下文长度扩展的技术,最后给大家推荐下 KubeAI 大模型训练推理平台可...
2
评论
分享
优弧
赞了这篇文章
美团技术团队
美团小编 @美团
·
4天前
关注
美团大规模KV存储挑战与架构实践
KV 存储作为美团一项重要的在线存储服务,承载了在线服务每天万亿级的请求量,并且保持着 99.995% 的服务可用性。本文介绍了美团KV存储的架构实践。...
5
1
分享
优弧
赞了这篇文章
机器之心
@机器之心
·
4天前
关注
能说会看会行动,OpenAI机器人,一出手就是王炸
「借助 OpenAI 的能力,Figure 01 现在可以与人全面对话了!」 本周三,半个硅谷都在投的明星机器人创业公司 Figure,发布了全新 OpenAI 大模型加持...
2
评论
分享
下一页
个人成就
2023年度人气作者No.63
2022年度人气作者No.61
社区共建者
优秀创作者
文章被点赞
5,175
文章被阅读
1,072,994
掘力值
25,337
掘金运营团队
关注了
449
关注者
26,480
收藏集
15
关注标签
551
加入于
2016-10-12