pytorch学习合集

什么是优化器 pytorch的优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签 导数：函数在指定坐标轴上的变化率 方向导数：指定方向上的变化率 梯度：一个向量，方向为方向导数取得最大

梯度消失与爆炸 E𝑿∗𝒀=𝑬𝑿∗𝑬𝒀 D𝑿=𝑬X𝟐[𝑬𝑿]𝟐 D𝑿+𝒀=𝑫𝑿+𝑫𝒀 1.2.3 ⇒ D(XY)=D(X)D(Y)+D(X)[𝑬𝒀]𝟐+D(Y)[𝑬𝑿]𝟐 若E(X)=0,E(Y)=0

池化层-PoolingLayer nn.MaxPool2d nn.MaxPool2d 功能：对二维信号（图像）进行最大值池化 主要参数： kernel_size：池化核尺寸 stride：步长 pad

1d/2d/3d卷积 卷积运算：卷积核在输入信号（图像）上滑动，相应位置上进行乘加 卷积核：又称为滤波器，过滤器，可认为是某种模式，某种特征。 卷积过程类似于用一个模版去图像上寻找与它相似的区域，与卷

网络层容器 nn.Sequential nn.Sequential是nn.module的容器，用于按顺序包装一组网络层 顺序性：各网络层之间严格按照顺序构建 自带forward()：自带的forwar

transforms-裁剪 transforms.CentorCrop transforms.CenterCrop 功能：从图像中心裁剪图片 size：所需裁剪图片尺寸 transforms.Rand

torch.autograd torch.autograd.backward torch.autograd.backward() 功能：自动求取梯度 tensors: 用于求导的张量，如loss re

Tensor的概念 张量是一个多维数组，它是标量、向量、矩阵的高维拓展。 Tensor与Variable Variable是torch.autograd中的数据类型 主要用于封装Tensor，进行自动

张量的操作 张量拼接与切分 torch.cat和torch.stack torch.cat() 功能：将张量按维度dim进行拼接 tensors: 张量序列 dim: 要拼接的维度 torch.sta