懒人旭

一句话，基数树是一种多叉树。 更官方一点的解释：radix tree是一种多叉搜索树。树的叶子结点是实际的数据条目。每一个结点有一个固定的、2^n指针指向子结点（每一个指针称为槽slot，n为划分的基的大小）。看到这里可能还有点懵，继续往下看。 举个例子，一目了然。对于下面四个…

我们将发布Triton 1.0，这是一种开源的类似Python的编程语言，使没有CUDA经验的研究人员能够编写高效的GPU代码--大多数情况下与专家所能产生的代码相当。Triton使其有可能以相对较少

LLM中的强化学习：PPO、DPO、KTO等。 为什么要用强化学习训练、强化学习算法发展脉络、常见的强化学习算法：PPO、DPO、KTO等等

前面给大家分享了模型推理服务化框架Triton保姆式教程（一）：快速入门，对于一款模型推理服务框架，通常关注的指标有延时、吞吐、效率、灵活性和可扩展性等。那么，针对每个点应该如何去解决，这是在进行推理

随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美

目前，由于大模型参数量显著激增，从而导致模型变得越来越大。因此，需要一些大模型压缩技术来降低模型部署的成本，

由于 GPU 资源稀缺和昂贵，一定程度上使得大模型的应用和普及变得困难。因此，本文从大模型推理部署出发，介绍了一些低硬件成本（消费级GPU、CPU等）部署大模型的方法，并着重介绍了低显存推理优化技术O

四万倍的程序性能提升！MIT6.172的第一课，初步认知性能并且通过一个矩阵乘法的例子来直观的展示优化对于程序性能可能产生的影响。