@[toc]
我们都知道传统的RXX很慢,而现在的Transformer算起来则快多了。
RXX和Transformers计算网络拓扑
这是为啥呢?从拓扑图来讲其实很简单:
这两张拓扑图能看出什么东西?
那可大了。
首先,==对于RXX来说,下一层要等上一层的注意力计算全部完成——关键在层内:当前Token必须先等上一个Token计算完成==。
那么Transformer的注意力机制呢?层间确实仍是“这一层依赖上一层”,但细心的读者已经发现了:==层内的依赖被打破了。第2层的Token 2不需要等第2层的Token 1算完。==
也就是说,Transformer打破了层内的等待,可以并行计算完成。
那因果注意力掩码又是什么意思呢?
更细心的读者可能又注意到了,Transformer那张图并不是“笛卡尔积式”的连线。注意看:
- 第2层的第1个Token只有一条连线,==来自第1层的第1个Token;==
- 第2层的第2个Token有两条连线,分别来自==第1层的第1个Token和第2个Token。==
这就是因果掩码。再套回到注意力机制的计算里,是什么意思呢?
第2层要做QK计算,那么第2层的第1个Token做QK计算时,只能拿到第1个Token的K的数据;第2层的第2个Token做QK计算时,只能拿到第1个和第2个Token的K的数据。
一句话总结:RXX慢在“必须等”,Transformer快在“能同时算”,而因果掩码保证的是“同时算的同时不偷看未来”。
两个容易混淆的补充
- 这里说的“快”,主要指训练时可以把整个序列一起并行喂进去。推理(自回归生成)时依然是一个Token一个Token地产出,串行性并没有消失,只是靠KV Cache省掉了重复计算。
- 打破顺序依赖的代价是丢掉了顺序信息,所以Transformer需要额外的位置编码;而RXX的顺序信息天然隐含在递归结构里,不需要额外注入。