SteveForever

DeepSeek-R1 和 FP8 混合精度训练(译) 为什么我们要关注 FP8 训练？ 在 FP8 中工作有几个权衡 DeepSeek 的解决方案 不同框架对 DeepS...

CUTLASS 是什么？ 尾声阶段和 EVT 使用尾声（Epilogue）和 EVT DefaultEpilogue 内置 EVTs 对 EVT 的结构进行拆解分析 更复杂...

背景 Transformers 中的 MoE 具有辅助损失的负载均衡 DeepSeek 的辅助无损负载均衡 评估 性能与负载均衡 超参数 （Update Rate） 的影响...

背景知识 LLM 中的 MoE （Mixture-of-Experts） MoE 的好处和挑战 知识专业化与知识共享 DeepSeekMoE 架构 细粒度的专家细分 共享专...

DeepSeek-V3 介绍 Transformers 解码器中的 MHA Key-Value 缓存 多查询注意力机制 (MQA) vs 分组查询注意力机制 (GQA) R...