在 AI 大模型训练中，GPU 宽带（即 GPU 内部及多 GPU 间的数据传输带宽）正成为制约模型规模与训练效率的核心瓶颈。不同于 CPU 侧重低延迟单核运算，GPU 依赖高并行架构处理海量数据，而宽带决定了数据在 GPU 芯片内各单元（如计算核心、显存）及多卡集群间的流动速度。
当前主流 GPU 如 NVIDIA A100 的 HBM2e 显存宽带达 1.6TB/s，但大模型训练中，仅参数加载就需每秒传输数十 TB 数据，单卡宽带已无法满足需求。多 GPU 集群中，NVLink 或 PCIe 4.0 的宽带进一步限制了节点间数据同步——若宽带不足，计算核心会因等待数据陷入 idle，导致训练时间延长 30% 以上。
针对这一瓶颈，行业正从三方面突破：一是优化显存架构，如 AMD 采用 3D 堆叠 HBM3 技术将宽带提升至 5.3TB/s；二是创新数据传输协议，NVIDIA 推出的 NVLink 3.0 实现了 900GB/s 的双向宽带；三是算法层面的优化，如 Megatron-LM 采用的张量模型并行技术，通过拆分数据减少跨卡传输量。
未来，随着大模型参数突破万亿级，GPU 宽带将成为决定 AI 算力成本的关键因素。仅提升计算核心数量而忽视宽带，会导致“算力过剩但数据流动不足”的尴尬局面。因此，企业在构建 AI 训练集群时，需平衡 GPU 计算能力与宽带参数，优先选择宽带密度（宽带/功耗）更高的硬件方案。
