最近看fastertransformer源码，接触了很多底层到东西，cuda源码各种看不懂，就去学cuda，学了一会儿觉得就想放弃，结果翻回去看源码还是不懂，反复几次，最后干脆拿出一上午静静地把官方文档啃了啃才算入门。所以写这篇文章帮助同样想要放弃的同学入门一下。 网上关于cu…

单精度矩阵乘法几乎是每一位学习 CUDA 的同学绕不开的案例，这个经典的计算密集型案例可以很好地展示 GPU 编程中常用的优化技巧。本文将详细介绍 CUDA SGEMM 的优化手段。