用户99019305245

Nano-vLLM-MS 项目地址 这是一个基于 nano-vLLM 的轻量级 vLLM 实现，增强了对 MoE 模型和 Speculative Decoding（推测解码）的支持。

VS Code 小插件：一键折叠 / 展开当前 Python 文件所有代码块，这个插件的目标很明确，不做复杂功能，就是让阅读大型 Python 源码文件时更方便一点。

原文链接：大语言模型中的采样参数 - wenzhaoabc 采样策略 LLM通过自回归的方式，一步步预测出可能的下一个token。每次预测时，模型会输出一个概率分布，表示每个token作为下一个tok

为什么需要KVCache? 本blog主要介绍大模型推理中 KV Cache 的作用。先通过模拟自回归生成过程，说明模型是如何逐步生成文本的；随后进一步解释 KV Cache 为什么被提出。 1. 大