前沿技术

在刚接触 CUDA 编程时，很多人都会疑惑在启动一个kernel时，三个尖括号里面的参数应该如何设置？这些参数受到哪些因素的制约？以及他们如何影响 kernel 运行的性能？

这次奉上另一个重要算子 LayerNorm 的性能优化实践技术分享。还带上了可以独立使用的 OneFlow Softmax。