PyTorch 入门核心:张量操作与自动微分原理详解

1 阅读5分钟

PyTorch张量核心操作与自动微分原理实战详解

摘要:张量是PyTorch整个框架的基石,数据存储、运算都依托张量完成;而自动微分是深度学习反向传播的核心。本文梳理张量运算、索引、形状变换,同时拆解自动微分完整原理与执行流程,适合PyTorch入门学习者阅读。

前言

在使用PyTorch进行深度学习开发时,张量(Tensor) 是最基础的数据载体,神经网络的输入、权重、中间计算结果全部以张量形式存在。熟练掌握张量的运算、索引、维度形状变换,是写好PyTorch代码的必备基本功。 仅仅会操作张量还不够,深度学习模型训练依靠反向传播更新参数,背后的底层就是自动微分机制。很多同学会用loss.backward(),却不清楚内部发生了什么。本文就把张量常用操作 + 自动微分原理流程完整梳理。

一、张量的运算函数

张量支持丰富的数学运算,分为逐元素运算、矩阵运算、归约运算等,既可以使用运算符,也可以调用内置函数。

  1. 逐元素运算:加减乘除、平方、开方等,相同形状张量对应位置计算。
import torch
a = torch.tensor([1,2,3])
b = torch.tensor([4,5,6])
c = a + b
d = torch.mul(a,b) # 对应位置相乘,不是矩阵乘法
  1. 矩阵乘法:区分逐元素乘与真正矩阵相乘
  • torch.mm():二维矩阵相乘
  • @运算符:通用矩阵乘法
  • torch.matmul():支持高维批量矩阵乘法,日常最常用
  1. 归约运算:求和、求均值、最大值、方差等,会降低维度。
torch.sum(a)
torch.mean(a.float())
torch.max(a)

小提示:很多运算有原地版本(带下划线,如a.add_(b)),原地操作会直接修改原张量,慎用,容易破坏计算图,影响自动微分。

二、张量的索引操作

索引用来从张量中取出部分数据,分为简单行列索引,以及高级索引用法。

2.1 简单行列索引

语法和Python列表、Numpy数组非常接近。

  • 一维张量:tensor[start:end:step]切片
  • 二维张量:tensor[行索引,列索引],tensor[行切片,列切片]

示例:

t = torch.arange(12).reshape(3,4)
print(t[0])        # 获取第0行
print(t[:,1])      # 获取全部行,第1列
print(t[1:3, 2:])  # 行1‑2,列2之后切片

2.2 其他高级索引

  1. 整数数组索引:传入索引列表,可以不连续取多行多列
t[[0,2], [1,3]]
  1. 布尔掩码索引:传入布尔张量,取出条件为True的元素,常用于过滤数据
mask = t > 5
print(t[mask])
  1. torch.where()条件选取;index_select()按指定维度索引选取数据。

⚠️注意:PyTorch的切片索引得到的是原张量的视图(view),不复制内存;高级索引返回的是新拷贝数据。

三、张量的形状操作

深度学习经常需要变换维度,适配网络输入输出要求,下面分两部分梳理。

3.1 形状操作‑1:维度重塑、展平

  1. reshape():重塑张量形状,总元素数量必须保持不变。
t = torch.arange(12)
t.reshape(3,4)
  1. view():和reshape功能接近,要求张量内存连续。
  2. flatten():展平,把多维变成一维,经常用在卷积转全连接之前。

3.2 形状操作‑2:增删维度、拼接、拆分

  1. unsqueeze(dim):增加一个维度,广播场景非常常用;
  2. squeeze(dim):删除大小为1的维度;
  3. torch.cat([t1,t2], dim):张量拼接,不新增维度,在现有维度上拼接;
  4. torch.stack([t1,t2], dim):堆叠,会新增一个维度;
  5. torch.split() / torch.chunk():对张量进行拆分。

容易混淆点:cat vs stack

  • cat:已有维度上拼,维度数不变
  • stack:创建新维度,维度+1

四、自动微分的原理和完整流程

核心概念:计算图、叶子节点、非叶子节点、requires_grad、grad、grad_fn

4.1 什么是自动微分

自动微分就是框架自动追踪张量运算,构建计算图,不用手动推导导数。调用反向传播,就可以求出每个可求导张量的梯度。

两个关键属性:

  1. requires_grad:标记这个张量是否需要计算梯度。模型权重默认True,普通数据默认False。
  2. grad_fn:记录产生这个张量的运算函数,只有计算得到的非叶子张量才有。
  3. .grad:保存反向传播之后计算出来的梯度。

叶子张量leaf tensor:计算图最源头的节点,比如我们手动创建的权重参数;中间运算出来的是非叶子张量。

4.2 完整执行流程

  1. 前向传播:张量做一系列算术运算,PyTorch默默构建动态计算图。记录每一步操作,记录grad_fn。
x = torch.tensor(2.0, requires_grad=True)
y = x ** 2 + 3

此时y的grad_fn会记录平方、加法操作。

  1. 反向传播:调用y.backward(),从输出节点沿着计算图反向回溯,链式法则计算各个叶子节点梯度。
y.backward()
print(x.grad) # dy/dx 的结果
  1. 梯度使用与清零:拿到梯度之后,优化器利用梯度更新参数;梯度不会自动清零,会累加,每轮训练要手动清零optimizer.zero_grad() 。

4.3 常见注意事项

  1. 不要对张量原地修改,会破坏计算图,报错。
  2. 如果不需要计算梯度,推理阶段使用with torch.no_grad():上下文管理器,关闭梯度追踪,节省显存加速运算。
  3. 只有标量输出可以直接backward,如果输出是张量,backward需要传入权重向量。

五、小结

  1. 张量运算分为逐元素、矩阵、归约运算,区分原地与非原地操作。
  2. 索引分简单切片行列索引和布尔、数组高级索引;切片得到视图,高级索引得到拷贝。
  3. 形状变换:reshape/view重塑;unsqueeze/squeeze增减维度;cat拼接、stack堆叠。
  4. 自动微分依靠动态计算图:前向构建图,backward反向链式求导;注意叶子节点、梯度累加,推理关闭梯度。

后续拓展:在实际训练神经网络的时候,张量操作 + 自动微分两者配合,就构成了PyTorch训练循环的底层基础。