AI深度学习/PyTorch/反向传播与梯度下降 龙文浩 工程师的学术研究 2026/4/4
import torch
def lwh_backward_grad(): """ 前向传播 = 特征x * 权重w + 偏置b → 预测值z 反向传播 = 预测值z → 损失函数 → 损失值loss → 更新：权重w 、 偏置b 本案例：简化为单变量w，损失函数 loss = 2 * w²，演示单次前向+反向传播 """ # ===================== 1. 定义可训练参数（权重w） ===================== # requires_grad=True：开启自动求导，PyTorch会记录该张量的计算图，用于反向传播 # dtype=torch.float32：指定数据类型为32位浮点数，符合深度学习常规 w = torch.tensor(data=10, requires_grad=True, dtype=torch.float32)
# 学习率 lr：控制每次梯度下降的步长，步长太大易震荡，太小收敛慢
lr = 0.1
# ===================== 2. 前向传播：计算损失 =====================
# 定义损失函数：loss = 2 * w²
# 这一步会构建计算图，记录w到loss的计算路径
loss = 2 * w ** 2
# ===================== 3. 反向传播：自动求导 =====================
# loss.sum()：将标量损失转为可反向传播的标量（本案例loss本身是标量，sum()为兼容写法）
# backward()：自动从loss反向传播，计算所有requires_grad=True的张量的梯度
# 梯度计算：d(loss)/d(w) = d(2w²)/dw = 4w，w初始为10，所以梯度为4*10=40
loss.sum().backward()
# ===================== 4. 梯度下降：更新权重 =====================
# w.data：直接访问张量的数值，不参与计算图，避免影响梯度
# w.grad：反向传播后得到的梯度值（导数）
# 更新公式：w_new = w_old - lr * gradient（梯度下降核心公式）
w1 = w.data - lr * w.grad
# ===================== 5. 结果打印 =====================
print(f"初始权重w: {w.data.item()}")
print(f"损失函数loss: {loss.item()}")
print(f"反向传播计算的梯度w.grad: {w.grad.item()}")
print(f"学习率lr: {lr}")
print(f"反向传播后的权重值w: {w1.item()}")
执行函数
lwh_backward_grad()
