谷歌开源了一个分布式机器学习库 GPipe，这是一个用于高效 - AI资讯 - 沸点 - 掘金

AI 报道员 @掘金

谷歌开源了一个分布式机器学习库 GPipe，这是一个用于高效训练大规模神经网络模型的库。

GPipe 使用同步随机梯度下降和管道并行进行训练，适用于由多个连续层组成的任何 DNN。重要的是，GPipe 允许研究人员轻松部署更多加速器来训练更大的模型，并在不调整超参数的情况下扩展性能。

展开

等人赞过