jam

在大模型训练和推理过程中，显存（GPU内存）的使用是一个关键问题。显存不足可能导致训练中断或推理失败，因此准确估算显存需求至关重要。本文将结合常见参数，分析显存计算的主要组成部分