百度智能云技术站

本文整理自 2025 年 12 月 14 日的「百度百舸 X SGLang Meetup 北京站」的同名主题分享。

本文整理自 2025 年 12 月 14 日的「百度百舸 X SGLang Meetup 北京站」的同名主题分享。在公众号回复「SGLangV5」，可以获得此次 Meetup 上半场的 4 个演讲主题

长文本推理被「显存墙」卡住 在 32K 至 128K 超长上下文场景中，DeepSeek-V3.2-Exp 的 Decode 阶段需维护一个随序列长度线性增长的 Latent Cache

百度百舸联合昆仑芯正式推出 vLLM-Kunlun Plugin —— 一款面向百度昆仑芯 XPU 的高性能 vLLM 平台插件，该 Plugin 现已全面开源。

1.    引言 DeepSeek-V3.2-Exp 所搭载的稀疏化 Attention 计算，在长上下文场景中成功降低了推理延迟。但在 PD 分离架构下，随着序列长度不断增长，Decode 阶段的吞

在超节点这一创新算力形态的早期发展阶段，企业部署超节点时，唯有跳出性能迷局，聚焦超节点与业务场景的贴合度、与现有基础设施的兼容性，从性能转化、稳定性、可落地性多维度综合考量，才能让超节点真正落地。

部署 DeepSeek-V3.2-Exp 时，百度百舸团队发现其长上下文性能明显低于官方报告。经排查，问题源于官方开源的 Inference Demo 中 RoPE 排布方式的一处细微错配。

在百度百舸线上真实业务中（约束首 token 延迟 TTFT < 1 秒），单机吞吐最高提升达 30%。在 25 年 8 月百度百舸将 Token 双流核心代码正式贡献至 SGLang 开源社区。

面对云原生时代的网络性能挑战，业界迫切需要一种既能突破传统内核协议栈性能瓶颈，又能保持工程可用性及生态兼容性的解决方案。