异构计算

本次我的分享主题在技术上算是对前面内容的综合，将围绕百舸在大模型训练过程的稳定性设计和加速实践展开，包括以下 3 个部分： 大模型时代的百舸异构计算平台； 大模型训练稳定性实践；大模型训推加速实践。

由于外部环境的变化，适用于大模型训练任务的 GPU 整体规模无法继续增长。这些存量 GPU 组成的集群，仍然是当前加速大模型训练的主要 AI 算力来源。