异构计算

LoongFlow 是百度百舸团队发布的一个开源的、旨在让 AI 学会「专家级思考」的智能体开发框架。我们相信，设计一个能解决复杂问题的专家级 Agent，关键在于其思考模式——它决定了 Agent

百度百舸和昆仑芯的技术团队基于 vLLM-Kunlun Plugin，仅用 2 天时间便在 vLLM 环境中实现了 MiMo Flash V2 在昆仑芯 P800 XPU 上的全流程适配。

最大无本体具身数据集开源！简智机器人秉持 「具身智能源于人、回归人」 的核心理念，将「RealOmni」数据集第一时间同步在百度百舸平台，便于具身智能行业伙伴快速将数据集应用于业务中。

百度百舸联合北京人形，构建了覆盖「模型提效加速、训练稳定性保障、企业级开发平台」的 AI Infra 具身智能解决方案，加速了 Pelican-VL 模型的落地。

百度百舸 AIAK 团队为 DeepSeek V3.2 开发的上下文并行（Context Parallelism, CP）方案已正式合入 SGLang 主分支。

本文整理自 2025 年 12 月 14 日的「百度百舸 X SGLang Meetup 北京站」的同名主题分享。在公众号回复「AI Infra」，可以获得此次 Meetup 下半场的 3 个演讲主题

本文整理自 2025 年 12 月 14 日的「百度百舸 X SGLang Meetup 北京站」的同名主题分享。

本文整理自 2025 年 12 月 14 日的「百度百舸 X SGLang Meetup 北京站」的同名主题分享。在公众号回复「SGLangV5」，可以获得此次 Meetup 上半场的 4 个演讲主题

长文本推理被「显存墙」卡住 在 32K 至 128K 超长上下文场景中，DeepSeek-V3.2-Exp 的 Decode 阶段需维护一个随序列长度线性增长的 Latent Cache

百度百舸联合昆仑芯正式推出 vLLM-Kunlun Plugin —— 一款面向百度昆仑芯 XPU 的高性能 vLLM 平台插件，该 Plugin 现已全面开源。

1.    引言 DeepSeek-V3.2-Exp 所搭载的稀疏化 Attention 计算，在长上下文场景中成功降低了推理延迟。但在 PD 分离架构下，随着序列长度不断增长，Decode 阶段的吞

部署 DeepSeek-V3.2-Exp 时，百度百舸团队发现其长上下文性能明显低于官方报告。经排查，问题源于官方开源的 Inference Demo 中 RoPE 排布方式的一处细微错配。

在百度百舸线上真实业务中（约束首 token 延迟 TTFT < 1 秒），单机吞吐最高提升达 30%。在 25 年 8 月百度百舸将 Token 双流核心代码正式贡献至 SGLang 开源社区。

在 AI 的下半场，算法的创新固然重要，但算力好像正在成为终极的变量，AI 的军备竞赛，已经从代码和模型，延伸到了芯片、电力和数据中心这些更底层的物理世界。

在客户场景的实际测试中，相比社区原有方案，百度百舸的方案经过合理的切分配置，单段视频支持的帧数上限提升超过 2 倍，单帧最大分辨率上限提升超过 2.6 倍，可以大幅缩短训练时间。

本次我的分享主题在技术上算是对前面内容的综合，将围绕百舸在大模型训练过程的稳定性设计和加速实践展开，包括以下 3 个部分： 大模型时代的百舸异构计算平台； 大模型训练稳定性实践；大模型训推加速实践。

由于外部环境的变化，适用于大模型训练任务的 GPU 整体规模无法继续增长。这些存量 GPU 组成的集群，仍然是当前加速大模型训练的主要 AI 算力来源。