异构计算

在百度百舸线上真实业务中（约束首 token 延迟 TTFT < 1 秒），单机吞吐最高提升达 30%。在 25 年 8 月百度百舸将 Token 双流核心代码正式贡献至 SGLang 开源社区。

在 AI 的下半场，算法的创新固然重要，但算力好像正在成为终极的变量，AI 的军备竞赛，已经从代码和模型，延伸到了芯片、电力和数据中心这些更底层的物理世界。

在客户场景的实际测试中，相比社区原有方案，百度百舸的方案经过合理的切分配置，单段视频支持的帧数上限提升超过 2 倍，单帧最大分辨率上限提升超过 2.6 倍，可以大幅缩短训练时间。

本次我的分享主题在技术上算是对前面内容的综合，将围绕百舸在大模型训练过程的稳定性设计和加速实践展开，包括以下 3 个部分： 大模型时代的百舸异构计算平台； 大模型训练稳定性实践；大模型训推加速实践。

由于外部环境的变化，适用于大模型训练任务的 GPU 整体规模无法继续增长。这些存量 GPU 组成的集群，仍然是当前加速大模型训练的主要 AI 算力来源。