百度智能云技术站

百度百舸联合昆仑芯正式推出 vLLM-Kunlun Plugin —— 一款面向百度昆仑芯 XPU 的高性能 vLLM 平台插件，该 Plugin 现已全面开源。

1.    引言 DeepSeek-V3.2-Exp 所搭载的稀疏化 Attention 计算，在长上下文场景中成功降低了推理延迟。但在 PD 分离架构下，随着序列长度不断增长，Decode 阶段的吞

在超节点这一创新算力形态的早期发展阶段，企业部署超节点时，唯有跳出性能迷局，聚焦超节点与业务场景的贴合度、与现有基础设施的兼容性，从性能转化、稳定性、可落地性多维度综合考量，才能让超节点真正落地。

部署 DeepSeek-V3.2-Exp 时，百度百舸团队发现其长上下文性能明显低于官方报告。经排查，问题源于官方开源的 Inference Demo 中 RoPE 排布方式的一处细微错配。

在百度百舸线上真实业务中（约束首 token 延迟 TTFT < 1 秒），单机吞吐最高提升达 30%。在 25 年 8 月百度百舸将 Token 双流核心代码正式贡献至 SGLang 开源社区。

面对云原生时代的网络性能挑战，业界迫切需要一种既能突破传统内核协议栈性能瓶颈，又能保持工程可用性及生态兼容性的解决方案。

在 AI 的下半场，算法的创新固然重要，但算力好像正在成为终极的变量，AI 的军备竞赛，已经从代码和模型，延伸到了芯片、电力和数据中心这些更底层的物理世界。

在客户场景的实际测试中，相比社区原有方案，百度百舸的方案经过合理的切分配置，单段视频支持的帧数上限提升超过 2 倍，单帧最大分辨率上限提升超过 2.6 倍，可以大幅缩短训练时间。

百度智能云混合云联合昆仑芯、HAMi（密瓜智能发起并主导的 CNCF 开源项目），正式推出基于昆仑芯 P800 的 XPU/vXPU 双模式算力调度方案。