懒人旭

一句话，基数树是一种多叉树。 更官方一点的解释：radix tree是一种多叉搜索树。树的叶子结点是实际的数据条目。每一个结点有一个固定的、2^n指针指向子结点（每一个指针...

我们将发布Triton 1.0，这是一种开源的类似Python的编程语言，使没有CUDA经验的研究人员能够编写高效的GPU代码--大多数情况下与专家所能产生的代码相当。Tr...

LLM中的强化学习：PPO、DPO、KTO等。 为什么要用强化学习训练、强化学习算法发展脉络、常见的强化学习算法：PPO、DPO、KTO等等...

前面给大家分享了模型推理服务化框架Triton保姆式教程（一）：快速入门，对于一款模型推理服务框架，通常关注的指标有延时、吞吐、效率、灵活性和可扩展性等。那么，针对每个点应...

随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美...

目前，由于大模型参数量显著激增，从而导致模型变得越来越大。因此，需要一些大模型压缩技术来降低模型部署的成本，...

由于 GPU 资源稀缺和昂贵，一定程度上使得大模型的应用和普及变得困难。因此，本文从大模型推理部署出发，介绍了一些低硬件成本（消费级GPU、CPU等）部署大模型的方法，并着...

四万倍的程序性能提升！MIT6.172的第一课，初步认知性能并且通过一个矩阵乘法的例子来直观的展示优化对于程序性能可能产生的影响。...

题前： 学tensorRT捡起来考研的时候就写错了的浮点数的表示范围计算，我哭了鸭，我总算把这个知识点学会了啊，王道教我的时候就没教会啊TAT TLDR 指数位均为1表示特...

大模型训练框架LLaMA-Factory，覆盖预训练、指令微调、强化学习、评估全流程 Bob新视界 Bob的AI视界 大家好，我是Bob。 一个想和大家一起慢慢变富的AI程...

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的19，点击查看活动详情 1.简介 UIE(Universal Information Extracti...

NVIDIA L20 GPU以其强大的48GB GDDR6内存和高效性能，成为云服务提供商和AI研究者新宠。与RTX4090不同，L20更适合大规模AI计算，如机器学习模型...

背景 在小七姐的文章中看到了Prompt学习地图，其中有一部分写的是基础Prompt框架，在此之前虽然在一些文章中看到过类似的框架介绍，但是都不如小七姐介绍的全面。 在小七...

OpenStack TaskFlow是一个用于编排和协调OpenStack任务的框架。它提供了一种简单的方式来定义和管理任务流程，以及处理任务之间的依赖关系。...

现在市面上比较流行的方案是约定式提交规范（Conventional Commits），它受到了Angular提交准则的启发，并在很大程度上以其为依据。约定式提交规范是一种基...

vscode 是一款由微软开发且跨平台的免费源代码编辑器。开发中有时候会遇到一些重复性高，且较为繁琐的一些操作。这个时候有一个契合问题需求的提效插件就显得尤为重要。...

大模型实战入门 LLM模型本身已经掌握了一定的知识。但是如果想让模型对一些“它”不了解的内容进行回复时。我们需要先要告知模型一些“额外”的内容。指导LLM执行一系列的任务...

什么是Auto-GPT，地址：https://github.com/Torantulino/Auto-GPT.git 这个程序由GPT-4驱动，将LLM"思想"链接在一起，...