mwq30123

RLHF-奖励模型RM 的“引擎”：Pairwise Loss 梯度计算详解 在上一篇文章中，我们介绍了奖励模型 (RM) 是 RLHF 的“指南针”，它通过 Pairwise Ranking Los

GPT-RLHF ：深入解析奖励模型 (Reward Model) 从 ChatGPT 到 Claude，再到各种开源大模型，它们惊艳表现的背后，除了不断增长的参数规模，还有一个至关重要的技术——基于

GPT监督微调SFT：在损失计算中屏蔽指令和填充 Token 1. 概述 在对自回归（Causal）语言模型（如 GPT、Llama）进行监督微调（Supervised Fine-Tuning, SF

GPT-2 中的 Pre-Layer Normalization (Pre-LN) 架构详解 1. 概述 Pre-Layer Normalization (Pre-LN) 是一种对原始 Transfo

GPT-2 中的残差权重初始化 1. 概述 在深度残差网络中，每一层的输出都会被加到其输入上。如果不对这些层的权重进行特殊处理，随着网络深度的增加，残差路径上累加的信号方差可能会不断增大，导致数值不稳

** Transformer:深度神经网络中的残差连接 (Residual Connection)** 1. 概述 随着深度学习的发展，神经网络的深度不断增加，以期获得更强的表达能力。然而，简单的堆叠

Transformer 前馈网络 (FFN) 深度解析 1. 概述与引言 前馈网络（Feed-Forward Network, FFN），在现代深度学习架构中，特指一个由两个线性变换层与一个非线性激活

GELU (Gaussian Error Linear Unit) 激活函数详解 1. 概述 GELU，全称为“高斯误差线性单元”，是一种高性能的、平滑的激活函数。与 ReLU 及其变体（如 Leak

从零实现 LayerNorm：PyTorch 自定义层归一化模块详解 🧠 一、为什么要自定义 LayerNorm？ 在深度学习模型中，归一化 (Normalization) 技术被广泛用于稳定训练和加