Stanford CS336 Lecture 10:大语言模型推理与性能优化

0 阅读15分钟

课程:Stanford CS336(2026 Spring),Lecture 10 — Inference
阅读目标:理解大模型推理为什么慢、性能如何衡量,以及 KV Cache、注意力结构、量化、投机解码和推理调度各解决什么问题。

一、核心结论与知识框架

一句话总结:大模型的自回归解码难以并行,往往受到显存带宽与 KV Cache 读取开销限制;优化推理需要同时关注模型结构、内存占用和请求调度。

graph TB
    A[大模型推理优化] --> B[性能分析]
    A --> C[模型优化]
    A --> D[解码算法]
    A --> E[推理系统]
    B --> B1[TTFT和TPOT]
    B --> B2[计算强度]
    B --> B3[吞吐量和延迟]
    C --> C1[减少KV Cache]
    C --> C2[量化]
    C --> C3[剪枝和蒸馏]
    D --> D1[投机解码]
    E --> E1[连续批处理]
    E --> E2[分页注意力]

本讲应记住五点:

  1. 训练与推理负载不同:训练已知整个目标序列,可以并行计算;自回归生成必须依次确定新 Token。
  2. Prefill 与 Decode 的瓶颈不同:Prefill 通常更接近计算密集型,Decode 通常更接近带宽密集型。
  3. KV Cache 是核心资源:节省重复计算,但随着上下文长度和并发量增加而占用更多显存。
  4. 延迟与吞吐量需要权衡:更大 Batch 通常能提高整体吞吐量,也可能增加单个请求的等待和执行延迟。
  5. 不存在脱离质量的加速:量化、压缩、剪枝等方案都需要验证模型能力是否下降;标准投机采样则可以在特定算法条件下保持目标模型的采样分布。

二、推理为什么重要

训练通常是一次性的高成本投入,而推理会在模型提供服务期间持续发生。

典型推理工作负载包括:

  • 聊天与代码补全:关注响应速度和交互体验。
  • Agent 工作流:模型可能反复规划、调用工具、反思和继续生成,内部 Token 消耗不一定由人类阅读速度限制。
  • 批量数据处理:关注单位时间处理的数据量和单位 Token 成本。
  • 模型评测:需要生成模型回答并计算任务指标。
  • 强化学习:需要大量 Rollout 采样、评分和策略更新。

课程提到的推理软件包括 vLLM、SGLang、TensorRT-LLM 和 llama.cpp。它们面向的硬件、部署场景和优化重点有所不同。

三、推理的两个阶段:Prefill 与 Decode

graph TB
    A[输入Prompt] --> B[Prefill并行处理]
    B --> C[初始化KV Cache]
    C --> D[生成首个Token]
    D --> E[Decode读取历史KV]
    E --> F[生成下一个Token]
    F --> G[追加新的KV]
    G --> H{是否结束}
    H -->|否| E
    H -->|是| I[输出完成]

3.1 Prefill

Prefill 接收完整 Prompt,在 Transformer 中并行处理输入位置,计算注意力及各层表示,并建立这些输入位置的 KV Cache。

其特点是:

  • 已知输入 Token,可以在序列维度并行计算。
  • 矩阵乘法规模较大,通常更容易充分利用 GPU 算力。
  • 输入越长、并发请求越多,计算量也会增加。
  • TTFT 通常与 Prefill 时间密切相关,但实际 TTFT 还包括排队、调度及其他开销。

3.2 Decode

Decode 根据当前上下文不断预测下一个 Token。因为后一个 Token 依赖前一个 Token 的生成结果,单条序列通常不能像 Prefill 那样一次性并行生成所有输出。

其特点是:

  • 每步通常为每个请求生成一个 Token。
  • 可以复用已有 KV Cache,无须重新计算整段历史的 K、V。
  • 每次仍需要读取模型参数和历史 KV Cache。
  • 生成速度常受显存带宽、KV Cache 大小及调度效率制约。

3.3 为什么需要 KV Cache

不使用缓存时,一个朴素实现会在生成每个新 Token 时重复处理全部历史序列,造成大量冗余计算。对于课程所分析的朴素全量注意力重复计算方式,生成长度为 T 的序列时,仅按注意力主导项累计可得到立方量级的开销。

KV Cache 利用因果注意力的性质:追加未来 Token 不会改变已有位置的 K、V。历史 K、V 因此可以被缓存并复用。

为什么主要缓存 K、V,而不是历史 Q? 当前新 Token 的 Query 需要与历史 Key 匹配,并聚合历史 Value;历史 Query 不参与当前 Token 的这次注意力计算。

四、KV Cache 显存如何估算

对于采用常规 KV Cache 的 Transformer,课程给出的计算方法为:

MKV=2×B×S×L×K×H×PM_{KV}=2\times B\times S\times L\times K\times H\times P

其中:

符号含义
B同时缓存的序列数量
S每条序列缓存的 Token 数
LTransformer 层数
K每层 KV Heads 的数量
H单个 Head 的维度
P每个元素占用的字节数,BF16 通常为 2
前面的 2分别存储 Key 和 Value

例如,有 40 层、40 个 KV Heads、Head Dimension 为 128、上下文 1024 Token,并使用 BF16,则每条序列的 KV Cache 为:

MKV,seq=2×1024×40×40×128×2M_{KV,seq}=2\times1024\times40\times40\times128\times2
MKV,seq=838860800 Bytes≈800 MiBM_{KV,seq}=838860800\ \text{Bytes}\approx 800\ \text{MiB}

因此,在同一模型架构和精度下:

  • B 翻倍,KV Cache 总显存近似翻倍。
  • S 翻倍,KV Cache 总显存近似翻倍。
  • K 减少到原来的四分之一,KV Cache 也相应减少到约四分之一。

实际服务还存在 Block 管理、不同序列长度、混合注意力架构、量化 KV Cache 等因素;公式是基础容量估算,不等同于完整 GPU 显存使用量。

五、推理性能指标

指标英文含义典型关注点
首 Token 延迟TTFT请求发起后到收到首 Token 的时间交互体验
每输出 Token 时间TPOT后续输出 Token 之间的平均间隔流式生成速度
请求延迟Latency单个请求完成所需时间用户体验与 SLA
吞吐量Throughput单位时间内系统生成的 Token 总数高并发和批量处理
显存占用Memory Usage参数、KV Cache 和运行时等占用显存部署容量

对于生成 N 个 Token 的请求,在忽略其他波动时,可以粗略表示为:

Ttotal≈TTFT+(N−1)×TPOTT_{total}\approx TTFT+(N-1)\times TPOT

例如 TTFT = 0.5s、生成 100 个 Token、TPOT = 0.02s,则:

Ttotal≈0.5+99×0.02=2.48sT_{total}\approx0.5+99\times0.02=2.48s

这是工程解释示例,并非讲义给出的实测性能。

六、计算强度:推理为何容易成为带宽瓶颈

6.1 Arithmetic Intensity

计算强度表示每传输一个字节数据,完成多少次浮点运算:

AI=FLOPsBytes TransferredAI=\frac{FLOPs}{Bytes\ Transferred}

课程使用硬件的计算能力与显存带宽之比,作为判断 Compute-bound 与 Memory-bound 的近似分界:

AIhardware=Peak FLOPs/sMemory BandwidthAI_{hardware}=\frac{Peak\ FLOPs/s}{Memory\ Bandwidth}

对于课件中的 H100 示例,使用 989 TFLOPS 与 3.35 TB/s,得到:

AIhardware≈9893.35≈295 FLOPs/ByteAI_{hardware}\approx\frac{989}{3.35}\approx295\ \text{FLOPs/Byte}

在相应精度和理想 Roofline 假设下:

  • 算子计算强度高于分界值,更可能受到计算能力限制。
  • 算子计算强度低于分界值,更可能受到显存带宽限制。

注意:295 不是所有 H100 模式、所有 GPU 或所有算子的固定阈值;它来自课件采用的特定峰值规格。

6.2 一个矩阵乘法例子

设输入 X 的形状为 B×D,权重 W 的形状为 D×F,计算 Y=XW。若数据使用 BF16,忽略缓存及融合等优化,则:

FLOPs=2BDFFLOPs=2BDF
Bytes=2BD+2DF+2BFBytes=2BD+2DF+2BF
AI=2BDF2BD+2DF+2BFAI=\frac{2BDF}{2BD+2DF+2BF}

当 D 和 F 远大于 B 时,课程将它近似为:

AI≈BAI\approx B

这说明批量越大,一次读取的权重可服务的样本越多,计算强度越高;反之,B=1 的矩阵向量乘法很容易成为 Memory-bound。

6.3 MLP 与 Attention 的对比

课件进一步推导出以下近似计算强度:

模块PrefillDecode
MLPB×SB
AttentionS/2S/(S+1),小于 1

对应的关键表达式为:

AIMLP≈B×TAI_{MLP}\approx B\times T
AIAttention=S×TS+TAI_{Attention}=\frac{S\times T}{S+T}

其中 S 表示历史或被关注的 Token 数,T 表示当前一次参与计算的目标位置数。Prefill 中 T=S;Decode 中 T=1。

核心差异:

  • MLP 权重在不同序列之间共享,提高 Batch Size 能摊薄权重读取成本。
  • Attention 所需的历史 KV Cache 因请求而异。增加 Batch Size 的同时,也增加各自 KV 的读取量。
  • 因此,增加 Batch Size 可以改善 MLP 的计算强度,但不能用同样方法解决 Decode Attention 的低计算强度问题。

由此得到课程中的重要结论:Prefill 通常更接近 Compute-bound,Decode 尤其是 Attention 部分通常更接近 Memory-bound。 真实部署还会受到模型大小、序列长度、Kernel、硬件以及并发量等因素影响。

七、Batch Size:延迟与吞吐量的权衡

课程在理想带宽模型中,用如下关系估算单步生成耗时:

Latency≈Mweights+B×MKV,seqBandwidthLatency\approx\frac{M_{weights}+B\times M_{KV,seq}}{Bandwidth}

每轮可为 B 条序列生成 Token,因此近似吞吐量为:

Throughput≈BLatencyThroughput\approx\frac{B}{Latency}

这带来一个直观结果:

  • 增加 Batch Size 可以摊薄模型权重读取成本,通常提高总吞吐量。
  • 增加 Batch Size 也会增加 KV Cache 读取量,从而增加每一轮 Decode 的耗时。
  • Batch Size 增大到一定程度后,吞吐量收益递减,并可能达到显存上限。

课件以 Llama 2 13B、H100、BF16 和 1024 Token 为例,计算出以下理想估算值:

Batch Size理想显存占用理想每轮耗时理想总吞吐量
1约 26.87 GB约 8.02 ms约 125 Token/s
64约 79.72 GB约 23.80 ms约 2690 Token/s
256约 240.78 GB约 71.87 ms约 3562 Token/s

这些是按课件公式计算的理想带宽模型结果,不代表实际服务 Benchmark;Batch 256 的显存需求也超过了示例 H100 80GB 的容量。

八、减少 KV Cache:从 GQA 到 MLA

8.1 GQA:分组查询注意力

GQA(Grouped Query Attention)让多个 Query Heads 共享一组 Key、Value Heads。

  • MHA:Query Heads 数等于 KV Heads 数。
  • MQA:所有 Query Heads 共享一组 KV。
  • GQA:介于两者之间,形成若干 KV 分组。

若 Query Heads 为 N、KV Heads 为 K,则相对于 MHA:

Compression Ratio=NKCompression\ Ratio=\frac{N}{K}

例如 N=32、K=8,KV Cache 的 K、V Head 部分可以缩减到原来的四分之一。

GQA 的价值是以一定的建模结构约束换取更低的缓存成本。课件指出,不同模型和任务上的质量表现需要实测,不能假定完全无损。

8.2 MLA:多头潜在注意力

MLA(Multi-head Latent Attention)是 DeepSeek-V2 相关工作采用的 KV 压缩方法。它不只减少 KV Heads,而是把原始隐藏状态投影为更小的潜在表示,缓存压缩后的向量,需要时通过投影参与注意力计算。

graph LR
    A[隐藏状态] --> B[低维投影]
    B --> C[潜在向量]
    C --> D[缓存潜在向量]
    D --> E[注意力计算]

讲义中的 DeepSeek-V2 例子:原始高维信息约为 16384 维,潜在向量压缩至 512 维,并额外使用约 64 维处理 RoPE 相关位置信息。由于 RoPE 与低秩压缩之间存在兼容性问题,实际 MLA 设计还需要专门处理位置编码。

GQA 与 MLA 的本质差异:GQA 主要减少 KV Heads 数量,MLA 主要压缩需要存储的 KV 表示维度。

8.3 其他注意力结构

方法核心思想主要权衡
CLA多个网络层共享 KV Cache减少跨层重复存储,需检查质量
Sliding Window Attention只关注最近固定窗口长程信息可能受损
Hybrid Attention局部层与全局层交替在性能和长程依赖之间折中
Linear Attention用压缩状态表示长历史长历史信息可能难以精确找回
Sparse Attention选择重要历史 Token 参与计算需要有效的选择机制

课程还简述了 DeepSeek 的压缩与稀疏注意力方向,包括 CSA、DSA、HCA。课堂重点是它们的共同目的:减少需要存储或访问的历史信息,在保持能力的前提下降低推理开销。

九、量化、剪枝与蒸馏

9.1 量化

量化通过降低权重或激活精度,减少存储和数据传输量。

数值格式每个参数理论存储4B 参数权重理论大小
FP324 Byte16 GB
BF16 或 FP162 Byte8 GB
FP8 或 INT81 Byte4 GB
INT40.5 Byte2 GB

上述数据仅计算权重本体,不包括量化元数据、KV Cache、工作区及其他运行时内存。

量化主要有两类:

  • PTQ:训练完成后再量化,工程成本较低。讲义介绍了 GPTQ、AWQ 等方法。
  • QAT:训练时模拟量化和反量化误差,让模型主动适应低精度表示,训练成本更高。

GPTQ 利用与二阶误差信息相关的近似方法逐层处理量化误差。AWQ 则关注激活值表明的重要权重通道,尽量减轻关键通道的量化损失。

注意:精度降低不等于必然加速。还需要硬件对数据格式的支持,以及推理框架中对应 Kernel 的实现。

9.2 剪枝与蒸馏

剪枝直接移除不重要的层、Attention Heads 或隐藏维度,使网络规模减小。由于能力可能下降,通常还需要继续训练或知识蒸馏。

graph LR
    A[原始大模型] --> B[评估结构重要性]
    B --> C[剪除部分结构]
    C --> D[得到小模型]
    D --> E[蒸馏恢复能力]
    E --> F[部署与评估]

课件提到 NVIDIA 相关工作利用结构剪枝和后续恢复训练,将约 15B 规模的模型缩小到约 8B,并在特定评测中保持较好的能力。

与从零训练小模型相比,这条路线能够复用大模型已经学到的知识;但重要性判断和恢复训练仍然需要数据、算力和评估体系。

十、投机解码:用小模型猜,用大模型验证

标准自回归生成逐个 Token 运行目标大模型,速度受限。投机解码利用了一个不对称性:给定一段候选 Token 后,大模型能够并行计算各位置的预测分布;这往往比大模型逐个生成候选更高效。

graph TB
    A[输入上下文] --> B[小模型生成候选]
    B --> C[大模型并行验证]
    C --> D{候选是否接受}
    D -->|接受| E[保留候选Token]
    D -->|拒绝| F[按残差分布修正]
    E --> G[更新上下文]
    F --> G
    G --> H{生成是否结束}
    H -->|否| B
    H -->|是| I[输出完成]

设 p 是 Draft Model 的预测分布,q 是 Target Model 的预测分布。对从 p 采样得到的候选 Token x,课件给出接受概率:

Paccept(x)=min⁡(1,q(x)p(x))P_{accept}(x)=\min\left(1,\frac{q(x)}{p(x)}\right)

当候选被拒绝时,按照归一化的正残差分布重新采样:

r(x)∝max⁡(q(x)−p(x),0)r(x)\propto\max(q(x)-p(x),0)

这不是简单比较两个模型预测是否相同。正确实现标准 Speculative Sampling 时,最终输出的概率分布与目标模型一致,而不仅仅是与目标模型近似。

实际加速收益取决于:

  • Draft Model 是否足够小、足够快。
  • Draft Model 的预测分布是否足够接近 Target Model。
  • 每轮猜测 Token 的数量是否合适;太少无法有效利用验证并行,太多则可能造成更多拒绝和浪费。

课程还简要提到了 Medusa、EAGLE 等对候选生成机制的扩展。

十一、在线推理系统:连续批处理与分页注意力

11.1 Continuous Batching

在线服务中的请求会在不同时间进入,并且各自的输入长度、输出长度不一致。静态批处理必须等待某批请求完成,不利于实时利用新的空闲容量。

Continuous Batching 在每一轮 Decode 后更新批次:删除已完成请求,同时纳入新的等待请求。

graph TB
    A[请求进入队列] --> B[组织当前Batch]
    B --> C[执行一轮Decode]
    C --> D[移除完成请求]
    D --> E[加入新请求]
    E --> F{还有请求吗}
    F -->|是| B
    F -->|否| G[结束当前调度]

这种按迭代调度的方法可以改善设备利用率和吞吐量。讲义还介绍 Selective Batching:非 Attention 计算可以将不同长度序列拼接起来处理,而 Attention 依然需要保留每个请求自身的上下文边界。

11.2 PagedAttention

PagedAttention 的核心不是改变注意力的数学公式,而是改变 KV Cache 的显存组织方式。

传统连续空间分配容易遇到两类浪费:

  • 内部碎片:为可能出现的最大输出长度预留大量暂未使用的空间。
  • 外部碎片:空闲显存分散,难以满足连续分配需求。

PagedAttention 借鉴操作系统分页思想,将 KV Cache 拆成固定大小的 Block,允许逻辑上连续的序列分布在不同物理显存块中。

graph LR
    A[逻辑KV序列] --> B[逻辑Block]
    B --> C[Block映射表]
    C --> D[物理显存块]
    D --> E[按需读取KV]

这能带来:

  1. 按需分配 KV Cache,减少显存浪费。
  2. 通过映射表管理非连续物理显存块。
  3. 多个请求共享可复用的前缀 KV Cache,例如相同的 System Prompt。
  4. 在需要修改共享块时使用 Copy-on-Write,支持同一 Prompt 生成多个候选答案。

注意区分:PagedAttention 主要优化 KV Cache 的分配、管理与访问;FlashAttention 主要优化注意力算子的计算过程及显存 IO。两者并不互相替代。

十二、如何将课程知识用到实际部署

以下部分是基于课件原理整理的工程实践建议,不是课堂公布的 Benchmark 数据。

对于 vLLM、SGLang 等在线推理服务,可以先建立统一压测口径,再逐步优化。

graph TB
    A[推理性能不理想] --> B[区分TTFT和TPOT]
    B --> C{主要瓶颈}
    C -->|TTFT偏高| D[检查输入长度和Prefill]
    C -->|TPOT偏高| E[检查带宽和KV Cache]
    C -->|吞吐量偏低| F[检查批处理和并发]
    D --> G[调整配置并压测]
    E --> G
    F --> G
    G --> H[验证质量和成本]

建议至少记录下列指标:

分类需要记录的内容
请求特征Prompt Tokens、Output Tokens、请求并发数
用户体验TTFT、TPOT、端到端延迟、延迟分位数
系统效率输出吞吐量、输入处理吞吐量、排队请求数
资源状态GPU 显存占用、KV Cache 利用率、显存带宽指标
质量评估量化或架构调整前后的任务准确率与失败样例

常见优化路径:

  • TTFT 高:检查输入 Token 数、Prefill 计算成本及排队时间。
  • TPOT 高:检查模型参数量、带宽、KV Cache 长度和 Decode 并发。
  • 显存不足:优先检查模型权重精度、KV Cache 配额、最大上下文及 Batch Size。
  • 吞吐量低:检查动态批处理配置、请求到达速率及实际执行中的 Batch 大小。
  • 长上下文性能差:关注 KV Cache 增长、注意力架构以及前缀复用是否生效。

不能只依靠 GPU 利用率判断推理性能:GPU 的算力使用率和显存带宽使用率并不是同一个指标。

十三、本讲重点回顾

层次优化技术关键目标
模型结构GQA、MLA、CLA、局部注意力减少 KV Cache 体积或访问成本
模型压缩PTQ、QAT、剪枝、蒸馏减少模型权重和计算成本
生成算法Speculative Decoding减少目标大模型顺序生成的开销
推理调度Continuous Batching动态提升设备利用率与吞吐量
显存管理PagedAttention减少内存碎片并提高 KV Cache 复用

课程最后指出,新的模型架构——如状态空间模型、线性注意力、扩散式生成——有潜力从根本上改变标准 Transformer 自回归推理的不利计算形态。

最终的知识主线:

推理优化=降低计算与数据搬运开销+提高资源利用率\text{推理优化}=\text{降低计算与数据搬运开销}+\text{提高资源利用率}

但应始终附加一个约束:不能只看速度,还要验证模型质量、稳定性与实际业务成本。