获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
3
赞
3
返回
|
搜索文章
用户53009365363
赞了这篇文章
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
2年前

大模型分布式训练并行技术（三）-流水线并行

近年来，随着Transformer、MOE 架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单...
image
评论
用户53009365363的头像
用户53009365363
关注了标签 DeepSeek DeepSeek
用户53009365363
赞了这篇文章
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
2年前

大模型分布式训练并行技术（六）-多维混合并行

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡...
3
用户53009365363
赞了这篇文章
吃果冻不吐果冻皮的头像
吃果冻不吐果冻皮
🏆掘金签约作者｜人工智能方向
·
2年前

大模型分布式训练并行技术（九）-总结

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡模式已经无法满足超大模型进行训练的要求。因此，我们需要基于单机多...
1
用户53009365363的头像
用户53009365363
关注了
吃果冻不吐果冻皮
收藏集
1
关注标签
20
加入于