IguoChan

0. 简介 sglang是一个高性能的大语言模型和视觉-语言模型服务框架。 它旨在从单 GPU 到大型分布式集群等各类部署环境中提供低延迟、高吞吐量的推理服务。 在通过nano-vllm系列针对推理的

0. 概念 0.1 为什么需要批处理 LLM以自回归方式进行decode，而decode阶段是典型的数据密集型的计算方式，如果GPU调度时每次只计算一个Sequence，只生成一个token，那简直就

0. 什么是KV Cache 在0. nano-vllm：大模型推理原理和流程中我们阐述了大语言模型作为一种自回归模型的基本工作流程，其主要工作阶段分为： prefill阶段：模型处理全部的Promp

0. 简介 LLM：就是大语言模型，指参数量较大且具有较强生成能力的语言模型。 vLLM：功能完备的生产级大语言模型推理引擎。 nano-vllm：是vLLM的极简教学版实现，代码只有1200行左右。

0. 简介 线性回归是预测多少的问题，而回归亦可被用于预测哪一个的问题： 某个电子邮件是否属于垃圾邮件文件夹？ 某个用户可能注册或不注册订阅服务？ 某个图像描绘的是驴、狗、猫、还是鸡？ 某人接下来最有

0. 背景 虽然一直从事的是工程开发，但是目前从事的工作和算法、特别是大模型相关，因此想了解一下算法的相关基础，而d2l就是入门的教程，可参考dl2。 比如书中中的线性回归就是一个特别简单的例子，即根

原文 工作已逾三年，第一份工作在某汽车电子公司，从事Linux应用开发。现旷厂后端开发在职。忽然在知乎刷到职场PUA，今日也来从自己的经历谈一谈这个话题吧。 我性格张扬，求学生涯一帆风顺，无论是在求学

0. 简介 前面，我们已经分别可以部署了单机版和Sentinel版的Redis Operator，我们现在来完善一些监控指标。 0.1 Redis Exporter Redis Exporter 是

0. 简介 上一篇，我们借由Redis的单机部署，学习了一下Operator的基本使用，今天，我们在此基础上，部署一下Redis的Sentinel模式。 Sentinel本质上是为了解决Redis集群