LogicOverlord

命题：如果有一个n维行优先的数组的shape为 $shape_o\times shape_1 \times ... \times shape_{n-1}$ ，对于线性索引为...

本次博客的github链接： https://github.com/haowen-han/tma_study 从安培开始，nv引入了异步拷贝的概念，在hopper架构中则体...

要加速的pytorch原代码： 加速的特定shape: 第一版cuda代码： 测试脚本： 测试GPU：A800 测试结果： 速度比torch.compile慢，但是如果仅保...

there is no opportunity for coalescing across different warps....

行优先的多维数组中线性索引和逻辑索引的关系，通过本文介绍的公式可以从线性索引求得逻辑索引，这在写cuda的时候特别有用...

近两年大模型火出天际；同时，也诞生了大量针对大模型的优化技术。本系列将针对一些常见大模型优化技术进行讲解。...

注:个人阅读记录，因此写的很随意 torch_musa是摩尔线程推出的pytorch插件，主要思想是通过pytorch的privateuse1键让pytorch可以在摩尔线...

如https://juejin.cn/post/7314142205684318246 所述，pytorch通过TORCH_LIBRARY_IMPL宏进行算子注册，如下面代...

注：本文为个人阅读记录之用，因此写起来比较随心所欲，而且由于是阅读的时候的随手记录，因此错误应该也不少。。。。。 近期打算花时间好好学习一下pytorch的源码，而要学习p...

注：新手文章。 1.摘要     大模型训练需要大量GPU，zero-offload可以增加10倍的模型参数量且不牺牲性能及无需修改模型。zero-offload通过把数据...

Paddle Custom device的仓库位于：https://github.com/PaddlePaddle/PaddleCustomDevice 其示例代码为在ba...

PaddlePaddle通过REGISTER_OPERATOR宏来进行算子注册，以paddle/fluid/operators/gru_unit_op.cc为例，其注册代码...

基于paddle 2023.4左右的版本 使用python setup.py可以直接安装PaddlePaddle，首先其内部会先调用最外层的CMakeLists.txt（s...

1.C++侧 cout<<Tensor; C++侧中tensor的输出流重载代码位于 /home/pytorch/aten/src/ATen/core/Formatting...

mmcv模仿pytorch，通过dispatcher根据算子的信息将算子分发到不同的函数，从而实现代码的复用，下面以upfirdn2d为例，介绍mmcv的算子注册及算子分发...

在shuffle指令主要用于让一个warp中的线程能直接访问另一个warp中线程的寄存器，从而实现数据的交换，而无需通过共享内存或者全局内存，如《Professional ...

共享内存位于GPU的SM中，由一个线程块(thread block)中的线程共同使用。共享内存的延迟比全局内存(global memory)低20到30倍，带宽高约10倍。...

一、固定内存(pinned memory) 默认在host端分配的内存都是pageable的(Pageable memory space means memory cont...