PyTorch 自动微分实战:原理回顾、反向传播解读与手写线性回归

2 阅读6分钟

PyTorch自动微分实战:原理回顾、反向传播代码解读与线性回归模拟

摘要:自动微分是PyTorch实现反向传播的底层基石。本文先回顾自动微分核心知识点,逐行解读反向传播示例代码,最后手动模拟完整线性回归,直观感受自动微分如何驱动模型学习,适合刚接触深度学习训练流程的初学者。

前言

前面我们已经学习张量操作、前向与反向传播的理论。但看懂理论不等于看懂代码。很多初学者在写训练代码时,会调用loss.backward(),却不清楚每一行代码背后自动微分做了哪些事情。

本文围绕三个部分展开:自动微分知识点回顾、反向传播代码逐行解读、基于自动微分手写简易线性回归案例。帮助打通理论与代码之间的鸿沟,理解深度学习训练最基础的运行逻辑。

一、自动微分回顾

自动微分的核心目标:不需要手动推导求导公式,框架根据计算链路自动计算导数(梯度),支撑反向传播。

核心关键属性

  1. requires_grad 标记张量是否参与梯度计算。
  • requires_grad=True:开启梯度追踪,参与构建计算图;模型参数默认开启,普通输入数据默认关闭。
  • requires_grad=False:不追踪运算,不构建计算图,推理阶段常用。
  1. grad_fn 只有**非叶子张量(运算生成的中间张量)**才有该属性,记录生成当前张量的运算操作,是计算图的关键。叶子张量(手动创建的参数)grad_fn=None。
  2. .grad 保存反向传播后计算得到的梯度,属于叶子张量的属性。多次调用backward()梯度会累加,不会自动清零。
  3. 叶子张量 leaf tensor 计算图的源头节点,如手动定义的权重w、偏置b;中间计算出来的变量属于非叶子张量。

动态计算图简要流程

  1. 前向计算:张量进行运算,如果参与运算的张量开启requires_grad=True,就会动态记录运算历史,构建计算图,保存grad_fn。
  2. 反向传播:调用.backward(),从输出节点沿着计算图反向遍历,使用链式法则求解各个叶子节点梯度,存入.grad。
  3. 计算图用完后会被释放,无法重复二次反向传播;如需多次求导,设置retain_graph=True。

注意:原地操作(带下划线_的函数)会破坏计算图,执行反向传播时报错。推理预测阶段使用with torch.no_grad()关闭梯度追踪,节省显存。

二、反向传播代码案例解读

下面一段简单示例,我们逐行拆解每一步自动微分内部发生的变化。

数学公式:y=w∗x+by = w*x + b,求 ∂y∂w\frac{\partial y}{\partial w}、∂y∂b\frac{\partial y}{\partial b}

import torch

# 1. 定义叶子张量,开启梯度追踪
w = torch.tensor(2.0, requires_grad=True)
b = torch.tensor(1.0, requires_grad=True)
x = torch.tensor(3.0)

# 2. 前向传播运算,构建计算图
y = w * x + b

print("y.grad_fn:", y.grad_fn)   # y是运算得到的中间张量,存在grad_fn
print("w.grad:", w.grad)        # 还未反向传播,梯度为None
print("b.grad:", b.grad)        # 还未反向传播,梯度为None

# 3. 启动反向传播
y.backward()

# 4. 获取叶子节点梯度
print("w的梯度 dy/dw =", w.grad)  # x =3.0
print("b的梯度 dy/db =", b.grad)  # 1

逐行解读

  1. w、b设置requires_grad=True,代表我们希望对这两个变量求导,属于计算图叶子节点;输入x不需要求导,不开启梯度。
  2. y = w*x + b执行前向运算,此时并没有求导,仅仅记录运算历史,生成计算图;y作为中间张量,grad_fn记录乘法、加法操作。此时w.grad、b.grad为None。
  3. y.backward():从输出y开始反向遍历计算图,链式求导。 ∂y∂w=x=3\frac{\partial y}{\partial w}=x=3;∂y∂b=1\frac{\partial y}{\partial b}=1
  4. 计算完成后,梯度写入叶子节点的.grad属性,中间非叶子张量不会保存梯度。

重要现象:执行完backward()后,计算图内存被释放。如果再次执行y.backward()会直接报错,需要保留图要传入参数y.backward(retain_graph=True)。

三、自动微分模拟线性回归实战

线性回归公式:ypred=w∗x+by_{pred}=w*x + b 目标:模拟简单数据集,利用PyTorch自动微分,不断更新w、b,让预测尽可能贴近真实值。

这里不使用nn.Linear,完全手动定义权重,直观体会自动微分+梯度下降完整训练流程。

import torch

# 1. 模拟数据集 y = 2*x + 3,我们希望模型学习出w≈2,b≈3
x_data = torch.tensor([1., 2., 3., 4.])
y_true = torch.tensor([5., 7., 9., 11.])

# 初始化权重、偏置,开启梯度追踪
w = torch.tensor(0.0, requires_grad=True)
b = torch.tensor(0.0, requires_grad=True)

learning_rate = 0.01
epoch = 1000

for i in range(epoch):
    # --------前向传播--------
    y_pred = w * x_data + b
    # 均方误差损失
    loss = torch.mean((y_pred - y_true) ** 2)

    # 如果w,b存在梯度,训练迭代前手动清零,防止梯度累加
    if w.grad is not None:
        w.grad.zero_()
    if b.grad is not None:
        b.grad.zero_()

    # --------反向传播:自动微分求梯度--------
    loss.backward()

    # --------梯度下降更新参数(不能参与计算图,要关闭梯度)--------
    with torch.no_grad():
        w -= learning_rate * w.grad
        b -= learning_rate * b.grad

    # 打印训练信息
    if (i+1) % 100 == 0:
        print(f"epoch:{i+1:4d} loss:{loss.item():.4f} w:{w.item():.4f} b:{b.item():.4f}")

代码解读

  1. 构造模拟数据,真实关系 (y=2x+3)(y=2x+3);权重w、b初始化为0,开启requires_grad=True。
  2. 前向传播:计算预测值y_pred,计算MSE损失loss,同时构建计算图。
  3. 梯度清零:每一轮迭代必须手动清零.grad属性,梯度默认会累加,不清零会导致梯度错误。
  4. loss.backward():自动微分执行反向传播,计算loss对w、b的梯度。
  5. 参数更新放在with torch.no_grad()内部:参数更新属于手工操作,不需要记录进计算图,如果不加上上下文管理器,会把更新操作也加入计算图,逻辑出错、内存泄漏。
  6. 循环迭代,w、b不断逼近真实值2和3。

运行输出示例,训练结束后w接近2,b接近3,模型拟合数据。

从案例学到的关键点

  1. 自动微分帮我们算梯度,但参数更新逻辑需要自己写(实际项目交给Optimizer优化器) 。
  2. 梯度清零、no_grad()上下文管理器是极易踩坑的两个点。
  3. 整个训练闭环:前向计算loss → 梯度清零 → backward求梯度 → 更新参数,和真实神经网络训练逻辑完全一致。

四、博客小结

  1. 自动微分依靠requires_grad、grad_fn、.grad三个核心属性,动态构建计算图,自动完成链式求导,是反向传播的底层实现。
  2. 通过简单数学示例可以看到:backward()仅仅填充叶子节点的梯度,计算图完成求导后默认释放。
  3. 手动实现线性回归案例完整复现训练流程:前向算损失、梯度清零、反向传播求梯度、更新参数。
  4. 真实项目中,权重、梯度清零、参数更新由nn.Module和优化器optimizer封装,但底层原理和本案例完全相同。

拓展思考:如果去掉梯度清零,或者去掉with torch.no_grad(),观察代码运行会出现什么异常?可以动手实验加深理解。