用户995624748361

Softmax 被称为访存密集型算子（memory-bound operator），原因如下： 1.softmax计算流程 以最常见的按行 softmax（如在 NLP 中的 attention）为例