PyTorch自动微分实战:原理回顾、反向传播代码解读与线性回归模拟
摘要:自动微分是PyTorch实现反向传播的底层基石。本文先回顾自动微分核心知识点,逐行解读反向传播示例代码,最后手动模拟完整线性回归,直观感受自动微分如何驱动模型学习,适合刚接触深度学习训练流程的初学者。
前言
前面我们已经学习张量操作、前向与反向传播的理论。但看懂理论不等于看懂代码。很多初学者在写训练代码时,会调用loss.backward(),却不清楚每一行代码背后自动微分做了哪些事情。
本文围绕三个部分展开:自动微分知识点回顾、反向传播代码逐行解读、基于自动微分手写简易线性回归案例。帮助打通理论与代码之间的鸿沟,理解深度学习训练最基础的运行逻辑。
一、自动微分回顾
自动微分的核心目标:不需要手动推导求导公式,框架根据计算链路自动计算导数(梯度),支撑反向传播。
核心关键属性
requires_grad标记张量是否参与梯度计算。
requires_grad=True:开启梯度追踪,参与构建计算图;模型参数默认开启,普通输入数据默认关闭。requires_grad=False:不追踪运算,不构建计算图,推理阶段常用。
grad_fn只有**非叶子张量(运算生成的中间张量)**才有该属性,记录生成当前张量的运算操作,是计算图的关键。叶子张量(手动创建的参数)grad_fn=None。.grad保存反向传播后计算得到的梯度,属于叶子张量的属性。多次调用backward()梯度会累加,不会自动清零。- 叶子张量 leaf tensor 计算图的源头节点,如手动定义的权重w、偏置b;中间计算出来的变量属于非叶子张量。
动态计算图简要流程
- 前向计算:张量进行运算,如果参与运算的张量开启
requires_grad=True,就会动态记录运算历史,构建计算图,保存grad_fn。 - 反向传播:调用
.backward(),从输出节点沿着计算图反向遍历,使用链式法则求解各个叶子节点梯度,存入.grad。 - 计算图用完后会被释放,无法重复二次反向传播;如需多次求导,设置
retain_graph=True。
注意:原地操作(带下划线
_的函数)会破坏计算图,执行反向传播时报错。推理预测阶段使用with torch.no_grad()关闭梯度追踪,节省显存。
二、反向传播代码案例解读
下面一段简单示例,我们逐行拆解每一步自动微分内部发生的变化。
数学公式:,求 、
import torch
# 1. 定义叶子张量,开启梯度追踪
w = torch.tensor(2.0, requires_grad=True)
b = torch.tensor(1.0, requires_grad=True)
x = torch.tensor(3.0)
# 2. 前向传播运算,构建计算图
y = w * x + b
print("y.grad_fn:", y.grad_fn) # y是运算得到的中间张量,存在grad_fn
print("w.grad:", w.grad) # 还未反向传播,梯度为None
print("b.grad:", b.grad) # 还未反向传播,梯度为None
# 3. 启动反向传播
y.backward()
# 4. 获取叶子节点梯度
print("w的梯度 dy/dw =", w.grad) # x =3.0
print("b的梯度 dy/db =", b.grad) # 1
逐行解读
w、b设置requires_grad=True,代表我们希望对这两个变量求导,属于计算图叶子节点;输入x不需要求导,不开启梯度。y = w*x + b执行前向运算,此时并没有求导,仅仅记录运算历史,生成计算图;y作为中间张量,grad_fn记录乘法、加法操作。此时w.grad、b.grad为None。y.backward():从输出y开始反向遍历计算图,链式求导。 ;- 计算完成后,梯度写入叶子节点的
.grad属性,中间非叶子张量不会保存梯度。
重要现象:执行完
backward()后,计算图内存被释放。如果再次执行y.backward()会直接报错,需要保留图要传入参数y.backward(retain_graph=True)。
三、自动微分模拟线性回归实战
线性回归公式: 目标:模拟简单数据集,利用PyTorch自动微分,不断更新w、b,让预测尽可能贴近真实值。
这里不使用
nn.Linear,完全手动定义权重,直观体会自动微分+梯度下降完整训练流程。
import torch
# 1. 模拟数据集 y = 2*x + 3,我们希望模型学习出w≈2,b≈3
x_data = torch.tensor([1., 2., 3., 4.])
y_true = torch.tensor([5., 7., 9., 11.])
# 初始化权重、偏置,开启梯度追踪
w = torch.tensor(0.0, requires_grad=True)
b = torch.tensor(0.0, requires_grad=True)
learning_rate = 0.01
epoch = 1000
for i in range(epoch):
# --------前向传播--------
y_pred = w * x_data + b
# 均方误差损失
loss = torch.mean((y_pred - y_true) ** 2)
# 如果w,b存在梯度,训练迭代前手动清零,防止梯度累加
if w.grad is not None:
w.grad.zero_()
if b.grad is not None:
b.grad.zero_()
# --------反向传播:自动微分求梯度--------
loss.backward()
# --------梯度下降更新参数(不能参与计算图,要关闭梯度)--------
with torch.no_grad():
w -= learning_rate * w.grad
b -= learning_rate * b.grad
# 打印训练信息
if (i+1) % 100 == 0:
print(f"epoch:{i+1:4d} loss:{loss.item():.4f} w:{w.item():.4f} b:{b.item():.4f}")
代码解读
- 构造模拟数据,真实关系 ;权重w、b初始化为0,开启
requires_grad=True。 - 前向传播:计算预测值
y_pred,计算MSE损失loss,同时构建计算图。 - 梯度清零:每一轮迭代必须手动清零
.grad属性,梯度默认会累加,不清零会导致梯度错误。 loss.backward():自动微分执行反向传播,计算loss对w、b的梯度。- 参数更新放在
with torch.no_grad()内部:参数更新属于手工操作,不需要记录进计算图,如果不加上上下文管理器,会把更新操作也加入计算图,逻辑出错、内存泄漏。 - 循环迭代,w、b不断逼近真实值2和3。
运行输出示例,训练结束后w接近2,b接近3,模型拟合数据。
从案例学到的关键点
- 自动微分帮我们算梯度,但参数更新逻辑需要自己写(实际项目交给Optimizer优化器) 。
- 梯度清零、
no_grad()上下文管理器是极易踩坑的两个点。 - 整个训练闭环:前向计算loss → 梯度清零 → backward求梯度 → 更新参数,和真实神经网络训练逻辑完全一致。
四、博客小结
- 自动微分依靠
requires_grad、grad_fn、.grad三个核心属性,动态构建计算图,自动完成链式求导,是反向传播的底层实现。 - 通过简单数学示例可以看到:
backward()仅仅填充叶子节点的梯度,计算图完成求导后默认释放。 - 手动实现线性回归案例完整复现训练流程:前向算损失、梯度清零、反向传播求梯度、更新参数。
- 真实项目中,权重、梯度清零、参数更新由
nn.Module和优化器optimizer封装,但底层原理和本案例完全相同。
拓展思考:如果去掉梯度清零,或者去掉
with torch.no_grad(),观察代码运行会出现什么异常?可以动手实验加深理解。