@[toc]
最近在梳理推理过程时,把 Prefill 和 Decode 两个阶段里注意力矩阵的计算整理了一下,写成笔记记录在此,欢迎交流指正。
Prefill 阶段
假设用户输入了 m 个 Token ID。经过词嵌入(Embedding)之后,这 m 个 Token 会被映射成一个形状为 [m, d] 的矩阵,其中 d 是单个 Token 的隐藏维度(hidden size)。
接下来,这个 [m, d] 矩阵会分别与 W_Q、W_K、W_V 做投影,得到:
Q[m,d],K[m,d],V[m,d]
为了方便理解,我们取最简单的情况,令 m = d = 2。
Q=[q11q21q12q22],K=[k11k21k12k22]
K 的转置为:
KT=[k11k12k21k22]
此时计算 QK^T,会得到:
QKT=[q11k11+q12k12q21k11+q22k12q11k21+q12k22q21k21+q22k22]
观察这个矩阵会发现一个问题:q11(第 1 个 token 的 query)为什么会去和 k21(第 2 个 token 的 key)相乘?
在自回归(autoregressive)生成场景中,每个位置只能看到自己以及它之前的位置,不能"偷看"未来。而注意力机制本身是双向的——第 1 个 token 也能关注到第 2 个 token。为了阻止这种情况,我们需要加上因果掩码(causal mask)。
补充:这和我们常说的"Transformer 没有位置概念"是两个不同的问题——后者需要靠位置编码 / RoPE 等方式来解决,而不是靠掩码。
给 QK^T 的结果加上如下掩码矩阵:
mask=[00−∞0]
于是 QK^T 变成:
QKT+mask=[q11k11+q12k12q21k11+q22k12−∞q21k21+q22k22]
未来位置被置为 −∞,经过 softmax 之后这些位置的权重自然变为 0。这样再做 softmax,就能得到注意力分数(score)。
最后用 score 乘上 V,就得到了这一层(注意力层)的输出。
Decode 阶段
如果直接把 Prefill 的思路套到 Decode 阶段,会有什么问题?
问题很大。
在 Decode 阶段,虽然一个 batch 里同样有 m 个 token,但这 m 个 token 来自 m 个不同的请求(request),每个请求此刻只生成了一个新 token。因此,我们最好把它写成:
Q[b,d],K[b,d]
其中 b 是 batch 大小,代表 b 个不同的请求。
不同请求之间,怎么能放到一起做 QK^T,得到下面这种矩阵呢?
QKT=[q11k11+q12k12q21k11+q22k12q11k21+q12k22q21k21+q22k22]
如果真这么做,就是把不同请求之间的数据互相污染了。
所以,Decode 阶段的注意力是"按请求隔离"的:每个请求的新 token 的 Q 是 [1, d],它只和该请求自己的 KV cache(历史所有 token 的 K、V)做注意力计算,而不是和其他请求混在一起。简单来说,就是 b 个彼此独立的 [1, d] × [d, seq_len_i] 计算,而不是一个跨请求的 [b, d] × [b, d] 计算。
小结
- Prefill:一次性把整个 prompt 的 token 都算完,Q、K、V 都是 [m, d],做 [m, d] @ [d, m] 的注意力,并用因果掩码屏蔽"未来"位置。
- Decode:每步每个请求只生成一个 token,注意力必须按请求隔离,各自与自己的 KV cache 做计算,不能跨请求混算。