深度学习基础入门:神经元、网络搭建、损失函数与优化算法全梳理
前言
深度学习已经广泛应用在图像识别、文本分类、推荐系统等各类业务场景中。想要读懂、动手搭建神经网络,必须吃透基础核心模块:神经元与神经网络原理、网络参数计算、分类任务各类损失函数,以及梯度下降系列优化策略。本文把这些高频核心知识点做系统化整理,结合 PyTorch 实操代码,适合深度学习入门同学作为复习笔记,快速夯实理论+实践基础。
环境说明:示例代码基于 PyTorch,可直接在 notebook / py 文件运行。
一、神经元与神经网络:从基础单元到网络模型
神经网络的最小计算单元是神经元(感知机) ,整个深度神经网络就是大量神经元分层堆叠组合而成。
单个神经元接收一组输入特征,每个输入乘以对应权重,叠加偏置项,再送入激活函数做非线性变换,输出计算结果。
核心:如果没有激活函数,无论网络堆叠多少层,都等价于单层线性模型,只能拟合线性关系;激活函数为网络引入非线性表达能力,让神经网络可以学习复杂现实数据模式。
把大量神经元按层组织,就形成神经网络,一般分为三类层:
- 输入层:接收原始样本特征,不做计算;
- 隐藏层:中间计算层,由大量神经元组成,提取数据高阶特征;
- 输出层:输出最终预测结果,分类、回归任务的输出层设计会有明显差异。
案例举例 图像多分类任务:输入层接收图片像素特征;多个隐藏层不断提取边缘、纹理、物体轮廓特征;输出层输出每个类别的预测概率,完成图片类别判断。 二分类任务:输出层一般输出一个概率值,用来判断样本属于正类还是负类。
PyTorch简单全连接网络示例
import torch
import torch.nn as nn
# 简单全连接神经网络
class SimpleNet(nn.Module):
def __init__(self, input_dim=128, hidden_dim=64, num_classes=10):
super().__init__()
# 隐藏层:线性层+激活函数ReLU
self.fc1 = nn.Linear(input_dim, hidden_dim)
self.relu = nn.ReLU()
# 输出层,输出10个类别logits
self.fc2 = nn.Linear(hidden_dim, num_classes)
def forward(self, x):
x = self.fc1(x)
x = self.relu(x)
out = self.fc2(x)
return out
net = SimpleNet()
print(net)
二、神经网络搭建与网络参数计算
搭建神经网络的核心就是确定网络层数、每层神经元数量、激活函数,而参数数量是网络设计的关键指标,直接决定模型的拟合能力、显存占用、训练速度。
神经网络可学习参数主要包含两部分:权重矩阵W + 偏置b。
计算公式:假设上一层神经元数量为,当前层神经元数量为 该层权重参数: 该层偏置参数: 单层总参数量 =
举个简单示例:上一层有128个神经元,本层设置64个神经元
- 权重参数:128 * 64 = 8192
- 偏置参数:64
- 该层总参数:8192 + 64 = 8256
实操小提示
- 参数越多,模型表达能力越强,但更容易发生过拟合,同时训练开销变大;
- 搭建网络时,需要结合数据集规模权衡网络规模,不是网络越深越大效果就越好。
PyTorch 查看网络参数量代码
# 打印每一层参数与总参数量
total_params = 0
for name, param in net.named_parameters():
param_num = param.numel()
total_params += param_num
print(f"{name} : shape={param.shape}, params={param_num}")
print(f"\n模型总参数量:{total_params}")
运行输出可以看到:fc1.weight(128,64)、fc1.bias(64),和我们公式手动计算结果完全对应。
三、分类任务损失函数
损失函数用来衡量模型预测结果和真实标签之间的差距,训练的目标就是最小化整体损失。分类任务分为多分类、二分类,二者损失函数选型不一样,同时还有其他辅助损失函数。
3.1 多分类损失函数:交叉熵损失 Cross‑Entropy Loss
⚠️注意:
nn.CrossEntropyLoss内部已经集成Softmax,网络不要额外加Softmax层,直接输入logits。
import torch.nn as nn
# 模型输出logits:batch_size=2,10个类别
logits = torch.tensor([[1.2, 0.3, -0.5, 0.1, 0.2, 0.4, -1.0, 0.5, 0.1, 0.0],
[0.1, 2.1, 0.2, 0.3, -0.2, 0.1, 0.4, 0.2, 0.3, 0.1]])
# 真实标签,类别索引,不需要one‑hot
labels = torch.tensor([0, 1])
ce_loss = nn.CrossEntropyLoss()
loss = ce_loss(logits, labels)
print(f"多分类交叉熵损失值: {loss.item():.4f}")
特点:
- 对概率分布差异非常敏感,是多分类任务的首选损失;
- 配合Softmax使用,PyTorch的
CrossEntropyLoss内置Softmax,梯度计算稳定; - 输入标签为类别索引,不用手动做one‑hot编码。
适用场景:手写数字识别、图像物体分类等多类别任务。
3.2 二分类损失函数:二元交叉熵 BCE Loss
二分类两种写法:
nn.BCELoss:输入需要经过Sigmoid得到概率;nn.BCEWithLogitsLoss:内置Sigmoid,输入直接给logits,数值更稳定,推荐优先使用。
# batch_size=3
logits = torch.tensor([1.5, -0.8, 0.4])
target = torch.tensor([1.0, 0.0, 1.0])
bce_loss_fn = nn.BCEWithLogitsLoss()
loss = bce_loss_fn(logits, target)
print(f"二分类BCE损失值: {loss.item():.4f}")
注意要点:
BCEWithLogitsLoss内部自带Sigmoid,不要重复调用sigmoid;- 标签为0或者1浮点类型;
- 当样本正负数量差距大的时候,可以设置
pos_weight权重缓解类别不平衡。
适用场景:垃圾邮件识别、判断图片是否包含目标物体等二分类场景。
3.3 其他损失函数
除了主流交叉熵系列,还有很多场景会用到其他损失:
- Focal Loss:针对样本类别不平衡问题,降低简单样本权重,聚焦难分样本,广泛用于目标检测;PyTorch官方没有内置,需要自定义实现;
- KL散度损失
nn.KLDivLoss:衡量两个概率分布之间差异,常用于知识蒸馏; - Hinge Loss(合页损失) ,常用于SVM思想,也可以用于分类,对分类边界做约束。
简单KL散度示例:
kl_loss = nn.KLDivLoss(reduction="batchmean")
input_prob = torch.log_softmax(torch.tensor([[0.5,0.5]]), dim=1)
target_prob = torch.tensor([[0.4,0.6]])
loss = kl_loss(input_prob, target_prob)
print(f"KL散度损失:{loss.item():.4f}")
经验总结:常规分类优先选交叉熵;类别不均衡优先考虑Focal Loss。
四、梯度下降与反向传播算法简介
了解知识点:梯度下降、反向传播是神经网络训练底层基石。
- 梯度:损失函数对参数的导数,代表损失值上升最快的方向;梯度下降沿着梯度反方向更新参数,以此降低损失。
- 反向传播:利用链式求导法则,从输出层损失开始,反向逐层计算每一层权重、偏置的梯度,得到所有参数梯度之后,执行参数更新。
简单流程:
- 前向传播:样本送入网络,计算预测值,计算损失;
- 反向传播:链式求导,从后往前算出全部参数梯度
loss.backward(); - 根据梯度使用优化器更新权重
optimizer.step(); - 迭代循环直到模型收敛。
反向传播只负责算出梯度,真正怎么更新参数由优化算法决定。
极简前向‑损失‑反向传播演示片段:
x = torch.randn((2, 128))
out = net(x)
y = torch.tensor([1,3])
loss = nn.CrossEntropyLoss()(out, y)
loss.backward() # 反向传播,计算所有参数梯度
# net.fc1.weight.grad 即可拿到fc1层权重梯度
print(f"fc1权重梯度形状: {net.fc1.weight.grad.shape}")
五、梯度下降优化算法
基础梯度下降存在诸多缺陷,比如震荡、收敛速度慢、容易陷入局部极小点,因此衍生出大量优化策略。
5.1 动量算法 Momentum
动量(Momentum)借鉴物理惯性思想:参数更新的时候,累积历史梯度。
- 梯度方向不变的时候,加速更新,加快收敛;
- 梯度方向来回震荡时,可以平滑更新,减弱震荡; 有效解决基础SGD更新摇摆、收敛缓慢的问题。
Nesterov动量是动量算法改进版本,先向前一步预测位置再计算梯度,进一步提升收敛表现。
5.2 其他主流优化算法
- AdaGrad:对不同参数自适应学习率,频繁更新的参数降低学习率,但是后期学习率会持续衰减趋向0;
- RMSprop:改进AdaGrad,使用滑动平均,避免学习率无限下降;
- Adam:结合Momentum动量 + RMSprop,同时维护一阶、二阶动量,自适应学习率,是深度学习最常用优化器。
PyTorch优化器使用代码:
from torch import optim
# SGD + momentum动量
opt_sgd_momentum = optim.SGD(net.parameters(), lr=1e-2, momentum=0.9)
# Adam优化器
opt_adam = optim.Adam(net.parameters(), lr=1e-3, betas=(0.9, 0.999))
# RMSprop
opt_rmsprop = optim.RMSprop(net.parameters(), lr=1e-3)
实践经验:Adam上手简单,大部分任务开箱即用;SGD+Momentum在大数据集上,调参到位往往可以获得更好最终精度。
六、学习率衰减方法
学习率是优化算法最重要的超参数:学习率太大,训练震荡、不收敛;学习率太小,训练速度极慢。 训练过程中通常会做学习率衰减:训练前期使用较大学习率快速收敛,训练后期逐步降低学习率,精细更新权重,让模型稳定到最优解。
常见学习率衰减策略:
- 阶梯衰减 StepDecay:每经过固定轮次,学习率乘以衰减系数,简单常用;
- 指数衰减 ExponentialLR:学习率按照指数形式持续下降;
- 余弦退火衰减 CosineAnnealingLR:学习率按照余弦曲线周期性升降,跳出局部最优,提升泛化能力;
- ReduceLROnPlateau:监控验证集指标,当验证集效果不再提升,自动降低学习率,无需手动设置轮次。
PyTorch学习率调度器代码:
optimizer = optim.SGD(net.parameters(), lr=0.1, momentum=0.9)
# 1.阶梯衰减:每10轮乘以0.5
scheduler_step = optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.5)
# 2.余弦退火
scheduler_cosine = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=20)
# 3.监控验证loss,不下降就降学习率
scheduler_plateau = optim.lr_scheduler.ReduceLROnPlateau(optimizer, factor=0.5, patience=3)
# 训练循环内每epoch执行调度器更新
# for epoch in range(epochs):
# train(...)
# val_loss = validate(...)
# scheduler_plateau.step(val_loss)
# scheduler_step.step()
完整极简训练循环(整合全部知识点)
import torch
import torch.nn as nn
import torch.optim as optim
net = SimpleNet(input_dim=128, hidden_dim=64, num_classes=10)
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.05, momentum=0.9)
scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=5, gamma=0.7)
# 模拟数据集
batch_x = torch.randn((32, 128))
batch_y = torch.randint(0,10,(32,))
for epoch in range(20):
optimizer.zero_grad() # 梯度清零
pred = net(batch_x) # 前向传播
loss = criterion(pred, batch_y)
loss.backward() # 反向传播求梯度
optimizer.step() # 参数更新
scheduler.step() # 更新学习率
if epoch % 2 ==0:
lr = optimizer.param_groups[0]["lr"]
print(f"epoch:{epoch}, loss:{loss.item():.4f}, lr:{lr:.4f}")
总结
本文梳理深度学习入门的核心基础,并搭配PyTorch实操代码:
- 神经元是神经网络最小单元,多层神经元堆叠构成网络,激活函数提供非线性;通过
nn.Linear搭建网络,可以查看参数量核对理论计算。 - 网络参数量由输入输出神经元数量决定,参数量权衡拟合能力与过拟合风险;
- 分类任务:多分类选
CrossEntropyLoss(内置Softmax),二分类优先BCEWithLogitsLoss;类别不均衡可以使用Focal Loss; loss.backward()完成反向传播计算梯度,优化器负责更新参数;Momentum动量引入惯性平滑更新,Adam是综合型常用优化器;- 学习率调度器实现学习率衰减,训练后期缩小步长,帮助模型更好收敛。
掌握以上内容,就具备读懂简单神经网络代码的理论基础,后续就可以上手真实数据集训练,进一步加深理解。