PyTorch张量核心操作与自动微分原理实战详解
摘要:张量是PyTorch整个框架的基石,数据存储、运算都依托张量完成;而自动微分是深度学习反向传播的核心。本文梳理张量运算、索引、形状变换,同时拆解自动微分完整原理与执行流程,适合PyTorch入门学习者阅读。
前言
在使用PyTorch进行深度学习开发时,张量(Tensor) 是最基础的数据载体,神经网络的输入、权重、中间计算结果全部以张量形式存在。熟练掌握张量的运算、索引、维度形状变换,是写好PyTorch代码的必备基本功。 仅仅会操作张量还不够,深度学习模型训练依靠反向传播更新参数,背后的底层就是自动微分机制。很多同学会用loss.backward(),却不清楚内部发生了什么。本文就把张量常用操作 + 自动微分原理流程完整梳理。
一、张量的运算函数
张量支持丰富的数学运算,分为逐元素运算、矩阵运算、归约运算等,既可以使用运算符,也可以调用内置函数。
- 逐元素运算:加减乘除、平方、开方等,相同形状张量对应位置计算。
import torch
a = torch.tensor([1,2,3])
b = torch.tensor([4,5,6])
c = a + b
d = torch.mul(a,b) # 对应位置相乘,不是矩阵乘法
- 矩阵乘法:区分逐元素乘与真正矩阵相乘
torch.mm():二维矩阵相乘@运算符:通用矩阵乘法torch.matmul():支持高维批量矩阵乘法,日常最常用
- 归约运算:求和、求均值、最大值、方差等,会降低维度。
torch.sum(a)
torch.mean(a.float())
torch.max(a)
小提示:很多运算有原地版本(带下划线,如
a.add_(b)),原地操作会直接修改原张量,慎用,容易破坏计算图,影响自动微分。
二、张量的索引操作
索引用来从张量中取出部分数据,分为简单行列索引,以及高级索引用法。
2.1 简单行列索引
语法和Python列表、Numpy数组非常接近。
- 一维张量:
tensor[start:end:step]切片 - 二维张量:
tensor[行索引,列索引],tensor[行切片,列切片]
示例:
t = torch.arange(12).reshape(3,4)
print(t[0]) # 获取第0行
print(t[:,1]) # 获取全部行,第1列
print(t[1:3, 2:]) # 行1‑2,列2之后切片
2.2 其他高级索引
- 整数数组索引:传入索引列表,可以不连续取多行多列
t[[0,2], [1,3]]
- 布尔掩码索引:传入布尔张量,取出条件为True的元素,常用于过滤数据
mask = t > 5
print(t[mask])
torch.where()条件选取;index_select()按指定维度索引选取数据。
⚠️注意:PyTorch的切片索引得到的是原张量的视图(view),不复制内存;高级索引返回的是新拷贝数据。
三、张量的形状操作
深度学习经常需要变换维度,适配网络输入输出要求,下面分两部分梳理。
3.1 形状操作‑1:维度重塑、展平
reshape():重塑张量形状,总元素数量必须保持不变。
t = torch.arange(12)
t.reshape(3,4)
view():和reshape功能接近,要求张量内存连续。flatten():展平,把多维变成一维,经常用在卷积转全连接之前。
3.2 形状操作‑2:增删维度、拼接、拆分
unsqueeze(dim):增加一个维度,广播场景非常常用;squeeze(dim):删除大小为1的维度;torch.cat([t1,t2], dim):张量拼接,不新增维度,在现有维度上拼接;torch.stack([t1,t2], dim):堆叠,会新增一个维度;torch.split()/torch.chunk():对张量进行拆分。
容易混淆点:
catvsstack
- cat:已有维度上拼,维度数不变
- stack:创建新维度,维度+1
四、自动微分的原理和完整流程
核心概念:计算图、叶子节点、非叶子节点、
requires_grad、grad、grad_fn
4.1 什么是自动微分
自动微分就是框架自动追踪张量运算,构建计算图,不用手动推导导数。调用反向传播,就可以求出每个可求导张量的梯度。
两个关键属性:
requires_grad:标记这个张量是否需要计算梯度。模型权重默认True,普通数据默认False。grad_fn:记录产生这个张量的运算函数,只有计算得到的非叶子张量才有。.grad:保存反向传播之后计算出来的梯度。
叶子张量leaf tensor:计算图最源头的节点,比如我们手动创建的权重参数;中间运算出来的是非叶子张量。
4.2 完整执行流程
- 前向传播:张量做一系列算术运算,PyTorch默默构建动态计算图。记录每一步操作,记录
grad_fn。
x = torch.tensor(2.0, requires_grad=True)
y = x ** 2 + 3
此时y的grad_fn会记录平方、加法操作。
- 反向传播:调用
y.backward(),从输出节点沿着计算图反向回溯,链式法则计算各个叶子节点梯度。
y.backward()
print(x.grad) # dy/dx 的结果
- 梯度使用与清零:拿到梯度之后,优化器利用梯度更新参数;梯度不会自动清零,会累加,每轮训练要手动清零
optimizer.zero_grad()。
4.3 常见注意事项
- 不要对张量原地修改,会破坏计算图,报错。
- 如果不需要计算梯度,推理阶段使用
with torch.no_grad():上下文管理器,关闭梯度追踪,节省显存加速运算。 - 只有标量输出可以直接backward,如果输出是张量,backward需要传入权重向量。
五、小结
- 张量运算分为逐元素、矩阵、归约运算,区分原地与非原地操作。
- 索引分简单切片行列索引和布尔、数组高级索引;切片得到视图,高级索引得到拷贝。
- 形状变换:reshape/view重塑;unsqueeze/squeeze增减维度;cat拼接、stack堆叠。
- 自动微分依靠动态计算图:前向构建图,backward反向链式求导;注意叶子节点、梯度累加,推理关闭梯度。
后续拓展:在实际训练神经网络的时候,张量操作 + 自动微分两者配合,就构成了PyTorch训练循环的底层基础。