DeepSeek模型解析

Himon
262 阅读6分钟

DeepSeek-V2

Multi-head Latent Attention (MLA)

  • 传统的多头注意力机制（MHA，Multi-Head Attention）：

在标准的Transformer中，多头注意力机制（MHA）通过并行计算多个注意力头来捕捉输入序列中的不同特征。每个注意力头都有自己的查询（Query, Q）、键（Key, K）和值（Value, V）矩阵，他们各自的主要作用如下：

  • 查询矩阵 Q：查询矩阵是你想要寻找某个信息的"问题"。在Transformer中，查询矩阵是输入的一个投影，表示当前token对其他token的"需求"。它帮助你确定自己在序列中的位置和需要关注什么内容。

  • 键矩阵 K：键矩阵是每个token提供的"信息"或"标识符"。每个token都有一个与之关联的键，用于与查询进行对比，以确定它与查询的相关性。你可以把键想象成词语的"标签"。

  • 值矩阵 V：值是实际的信息，提供了词向量的内容。根据Q与K的匹配程度，V最终用来生成输出向量。

假定：d是隐向量维度，nhn_h是注意力头的数量，dhd_h是每个注意力头的维度，hth_t是attention层地t个token的输入隐向量。

  1. 标准的MHA首先使用三个权重矩阵（训练参数）Wq,Wk,Wv∈Rdh∗nh∗dW_q,W_k,W_v \in{\mathbb{R}^{d_h*n_h*d}}计算得到qt,kt,vtq_t,k_t,v_t向量。然后qt,kt,vtq_t,k_t,v_t向量拆分成nhn_h份（每个注意力头分一份）：

[q𝑡,1;q𝑡,2;...;q𝑡,𝑛h]=q𝑡[q_{𝑡,1};q_{𝑡,2}; ...; q_{𝑡,𝑛_ℎ}]= q_𝑡

[k𝑡,1;k𝑡,2;...;k𝑡,𝑛h]=k𝑡[k_{𝑡,1};k_{𝑡,2}; ...; k_{𝑡,𝑛_ℎ}]= k_𝑡

[v𝑡,1;v𝑡,2;...;v𝑡,𝑛h]=v𝑡[v_{𝑡,1};v_{𝑡,2}; ...; v_{𝑡,𝑛_ℎ}]= v_𝑡

  1. 使用qt,ktq_t,k_t计算注意力得分，并使用注意力权重对vtv_t进行加权求和，得到每个注意力头的结果：

o𝑡,𝑖=∑j=1t︁Softmax𝑗(q𝑡,𝑖𝑇k𝑗,𝑖dh)vj,io_{𝑡,𝑖} =\sum^{t}_{j=1}{︁Softmax_𝑗 (\frac{q^𝑇 _{𝑡,𝑖} k_{𝑗,𝑖}}{\sqrt{d_h}})} v_{j,i}

  1. 最后把所有注意力头结果向量拼接起来，通过一层限行映射回原始维度：

u𝑡=𝑊𝑂[o𝑡,1;o𝑡,2;...;o𝑡,𝑛h]u_𝑡 = 𝑊^𝑂[o_{𝑡,1}; o_{𝑡,2}; ...; o_{𝑡,𝑛_ℎ}]

  • MLA:

MLA的核心是对value和key进行低秩联合压缩来减少推理时的键值缓存（KV cache），MLA设计中所有的K和V都需要缓存，MLA只需要缓存一个压缩的向量，并且此向量纬度远远小于dhnhd_hn_h，只需要在推理计算时再向上投影生成所有的K和V。具体计算如下：

  1. 对value和key进行低秩联合压缩：

    2.     具体的：
      • 生成压缩潜在隐向量（latent vector），其中𝑊𝐷𝐾𝑉∈R𝑑𝑐×𝑑𝑊^{𝐷𝐾𝑉} ∈ \mathbb{R}^{𝑑_𝑐×𝑑} 是下投影矩阵 c𝑡𝐾𝑉=𝑊𝐷𝐾𝑉h𝑡c^{𝐾𝑉}_𝑡 = 𝑊^{𝐷𝐾𝑉}h_𝑡。
      • 通过上投影矩阵𝑊UK,𝑊UV∈Rdhnh∗𝑑𝑐𝑊^{UK}, 𝑊^{UV} ∈ \mathbb{R}^{d_hn_h*𝑑_𝑐} 将潜在隐向量分别重建键K矩阵和值V矩阵，注意可以认为是映射成隐向量维度 h ，而不是每个注意力头的维度：kt𝐶=𝑊UKc𝑡𝐾𝑉k^𝐶_t = 𝑊^{UK}c^{𝐾𝑉}_𝑡，vt𝐶=𝑊UVc𝑡𝐾𝑉v^𝐶_t = 𝑊^{UV}c^{𝐾𝑉}_𝑡
      • 应用旋转位置编码（RoPE），引入位置信息。因为传统的MHA中，每个token都对应着自己的K向量，天然包含了位置信息，现在通过一个共用的潜在隐向量映射得到的K是不包含位置信息的。ktR=RoPE(WKRht)k^R_t = RoPE(W^{KR}h_t)。其中， 𝑊KR∈R𝑑hR∗d𝑊^{KR} ∈ \mathbb{R}^{𝑑^R_h*d} 是用于生成解耦键的矩阵， dhRd^R_h是解耦键的维度。
      • 将位置矩阵 ktRk^R_t和上投影得到的矩阵 ktCk^C_t拼接得到最终的地t个位置token的K矩阵：kt=[ktV;ktR]k_t = [k^V_t;k^R_t]，vt=vtCv_t=v^C_t。
    4.     因此在推理过程中，为了加速推理，需要将K、V缓存。当采用MLA：只有ktKVk^{KV}_t和ktRk^R_t需要缓存，只需要缓存(dc+dhR)∗l(d_c + d^R_h) * l 个参数。如果是MLA，所有keys和values向量都需要缓存，则需要缓存 2nhdhl2n_h d_h l 个参数。

  2. 同样的，为了降低训练过程中的内存激活量，对Q也进行类似的处理:

  1. 最后使用query (qt,iq_{t,i}),keys (kj,ik_{j,i})和values (vj,iCv^C_{j,i})计算attention结果，这里qt,iq_{t,i}和kj,ik_{j,i}都拼接了RoPE位置向量，所以纬度是一样的，其中𝑊O∈R𝑑∗dhnh𝑊^O ∈ \mathbb{R}^{𝑑*d_hn_h} 表示输出映射层矩阵 ， 最终得到纬度为d的输出隐向量：

代码实现：

在Deepseek-V3中，K和V的维度都是7168，

  • 这个设计在推理的时候无法直接应用RoPE，MLA巧妙将两个部分分开计算。

参考：

  1. zhuanlan.zhihu.com/p/151537455…
  2. zhuanlan.zhihu.com/p/218171829…

DeepSeekMoE-V2

MOE：

MoE的优势是能够在远少于稠密模型所需的计算资源下进行有效预训练。

概要：

MoE是整个网络的一部分，在训练阶段，所有"专家"都参与的，end2end训练，所谓“专家”网络只是在训练过程中处理序列中特定的token，而不是对特定的任务来训练某个“专家”网络。它还有个“负载均衡”的概念，就是让每个专家尽量参与，这样整个模型更高效。用MOE就可以把网络做的很宽，参数量更多。

在推理阶段，每个token只需要选择topk个“专家”，参数量就明显降低了。比如一个“专家”网络参数量是N，采用8个专家，模型总32层，专家层这部分参数量，训练阶段就是 328N，在推理阶段只需要 322N，就少了很多。

至于“专家”层怎么进行并行计算，它是每一层for循环每个“专家”，选出来各自负责处理的token对应的输入隐向量，按照顺序重排构造矩阵（需要padding），再对应与hidden层的weight相乘，最后再将每个token的结果向量reduce相加。

DeepSeek-V3

DeepSeekMoE-V3：

Multi-Token Prediction (MTP) training objective：

核心思路：多token预测，让模型在训练的时候，一次性预测多个未来token，一次性学习多个位置的label。

  • 训练执行步骤：

    • 主模型和草稿模型共享Embedding层和Output Head层（输出预测logit）。

    • k时刻草稿模型输入特征向量：将k-i时刻主模型Head层前面的特征向量+RMSNorm，将k时刻token经过共享的Embedding层得到词向量+RMSNorm，将两部分concat起来，过一层Linear降维。

    • 草稿模型预测：输入Transformer得到输出特征向量，过共享的Output Head层得到token的预测概率。

    • 训练草稿模型：采用交叉熵，采用典型的Teacher forcing模式训练草稿模型。

  • 预测执行步骤：

    • 草稿模型预测：草稿模型利用k个Head生成k个token。
    • 原始模型校验：将原始序列+预测序列拼接给原始模型校验
    • 接受：选择原始模型预测token与草稿模型预测token一致的序列作为接受的序列。（自回归计算中，主要时间在加载模型，每次生成一个token和n个token时间几乎一样）。

参考：

  1. Multi-Head Latent Attention (MLA) 详细介绍
  2. MTP：让LLM一次性预测多个token

DeepSeek-R1

GPPO：

参考：

  1. 全网首篇从tensorRT-LLM MoE CUDA kernel角度理解Mixtral-8x7b的推理加速及展望
  2. 混合专家模型 (MoE) 详解
  3. Mixtral Moe代码解读_moe 代码-CSDN博客
  4. 一文带你看清Mixtral内部结构及参数计算 翟泽鹏
  5. 图解大模型训练系列之：DeepSpeed-Megatron MoE并行训练（原理篇）
  6. 用通俗易懂的方式讲解大模型分布式训练并行技术:MOE并行_如何训练moe大模型-CSDN博客
  7. moe使用负载均衡的意义仅仅是为了方便训练吗？
  8. 混合专家模型 (MoE) 详解

scaling law

avatar
文章
阅读
粉丝