从流域到海域

梯度检查点（Gradient Checkpointing） 如今（2023年）大模型的参数量巨大，即使将batch_size设置为1并使用梯度累积的方式更新，也仍然会OOM。原因是通常在计算梯度时，我

计算机表示浮点数有多种精度，其中Float16和Float32最为常见，即 fp32: Sign(1bit) + Range(8 bits) + Precision(23 bits) fp16: Si

AdamW AdamW指的是Adam + Weight Decay（权重衰减）。 Adam相信很多读者已经了解了，Weight Decay解释起来也比较容易，为了防止过拟合，在计算损失函数时需要增加L

Outputi​。将奖励模型作为Environment对模型输出进行打分，将分数作为奖励。二元分类说法并不准确，原始目标是希望对两个生成的回复进行打分即两者之间按更符合人类预期进行比较，胜出的回复应该得到更多的分数，亦即获得更大的奖励。或者也可以认为是在两者之间做分类，将更符合人...