LLM大模型窥探

DeepSeek-R1 和 FP8 混合精度训练(译) 为什么我们要关注 FP8 训练？ 在 FP8 中工作有几个权衡 DeepSeek 的解决方案 不同框架对 DeepSeek-V3_FP8 量化支

CUTLASS 是什么？ 尾声阶段和 EVT 使用尾声（Epilogue）和 EVT DefaultEpilogue 内置 EVTs 对 EVT 的结构进行拆解分析 更复杂的例子：二元交叉熵损失 拓扑

背景 Transformers 中的 MoE 具有辅助损失的负载均衡 DeepSeek 的辅助无损负载均衡 评估 性能与负载均衡 超参数 （Update Rate） 的影响 其它偏差更新规则 总结 这

背景知识 LLM 中的 MoE （Mixture-of-Experts） MoE 的好处和挑战 知识专业化与知识共享 DeepSeekMoE 架构 细粒度的专家细分 共享专家隔离 评估 DeepSee

DeepSeek-V3 介绍 Transformers 解码器中的 MHA Key-Value 缓存 多查询注意力机制 (MQA) vs 分组查询注意力机制 (GQA) RoPE