一起养成写作习惯！这是我参与「掘金日新计划 · 4 月更文挑战」的第24天，点击查看活动详情。

前言

本文为我之前在CSDN平台上的一篇博客记录。原链接为：blog.csdn.net/u011426236/…

Pytorch分类模型搭建

本篇笔记主要对应于莫凡Pytorch中的3.2节。主要讲了如何使用Pytorch搭建一个分类模型的神经网络。

这里我们同样是继承torch.nn.Module来书写自己的神经网络。在继承该类时，必须重新实现__init__构造函数和forward这两个方法。接下来我们来自己搭建一个分类模型的神经网络。

数据生成与展示

import torch
import torch.nn.functional as F
import matplotlib.pyplot as plt

这里生成两组正态分布的数据。

其中类别0的数据维度为2，其在各个维度上服从均值为2，方差为1的正态分布，该组数据标签为0，共计 100个数据；类别1的数据维度为2，其在各个维度上服从均值为-2，方差为1的正态分布，该组数据标签为1，共计 100个数据。

n_data = torch.ones(100, 2)
x0 = torch.normal(2*n_data, 1)            # class0 x data (tensor), shape=(100, 2)
y0 = torch.zeros(100)                     # class0 y data (tensor), shape=(100, 2)
x1 = torch.normal(-2*n_data, 1)           # class1 x data (tensor), shape=(100, 2)
y1 = torch.ones(100)                      # class1 y data (tensor), shape=(100, 2)
x = torch.cat((x0, x1), 0).float()        # FloatTensor
y = torch.cat((y0, y1), 0).long()         # LongTensor

然后我们将两组数据拼接起来，作为全部的训练数据集。

其可视化展示如下，这里也是使用matplotlib中的scatter函数绘制散点图。

plt.scatter(x.data.numpy()[:, 0], x.data.numpy()[:, 1], c=y.data.numpy())
plt.savefig("./img/03_data.png")
plt.show()

在这里插入图片描述

基本网络搭建

我们自定义一个类来完成分类操作

class Net(torch.nn.Module):
    def __init__(self, n_feature, n_hidden, n_output):
        # 分别表示feature个数、隐藏层神经元数个数、输出值数目
        super(Net, self).__init__()
        self.hidden = torch.nn.Linear(n_feature, n_hidden)
        self.predict = torch.nn.Linear(n_hidden, n_output)
    
    def forward(self, x):
        # x 是输入数据
        x = F.relu(self.hidden(x))   # x -> (n_sample, n_hidden)
        x = self.predict(x)          # x -> (n_sample, n_output)
        y = F.softmax(x, dim=1)      # y -> (n_sample, n_probability(=n_output)))
        return y

这是一个两层的神经网络，其包含一个隐藏层即self.hidden，之后便连接一个输出层self.predict，这两个网络层都是使用torch.nn.Linear来进行定义。

在前向传播时，网络对隐层的输出进行了Relu操作，与之前回归模型使用的架构基本相同。不同的是，我们在输出之后使用了一步Softmax操作将其输出值归一化到概率值上，判断哪个类别的概率更大，来进行分类。

这里的维度信息尤其要注意，输入x是 $n_{sample} \times n_{feature}$ 即 $200\times 2$ 的向量。经过一层hidden后，维度变为 $n_{sample} \times n_{hidden}$ ，再经过一层predict层后，维度变为 $n_{sample} \times n_{output}$ ，最后进行Softmax时，我们是在每个样本的feature维度上进行的，即dim=1，该维度的向量长度为2，进行Softmax操作之后即得到对应每个类别的预测概率值。我们直接取概率值最大的那一类作为最终的分类结果。

网络搭建完成后，我们可以打印输出一下这个网络的基本结构

net = Net(2, 10, 2)  # 输入为整个Batch的训练数据，每条数据为2个特征，xy坐标，输出为一个长度为200*2向量，其中每个[0, 1]表示输出为1，[1, 0]表示输出为0
print(net)

得到输出如下

Net(
  (hidden): Linear(in_features=2, out_features=10, bias=True)
  (predict): Linear(in_features=10, out_features=2, bias=True)
)

设置优化器和损失函数

接下来我们设置网络的优化器和损失函数。

优化方法设置为随机梯度下降法，学习率设置为0.02。

一般分类问题使用交叉熵损失函数。

optimizer = torch.optim.SGD(net.parameters(), lr=0.02)
loss_func = torch.nn.CrossEntropyLoss()   # 分类问题一般用CrossEntropy的loss

训练与展示

最后，我们展示输出并可视化中间过程。我们每5个step可视化一次分类结果。

plt.ion()

for step in range(20):
    out = net(x)            # out是输出的激活值
    loss = loss_func(out, y)
    
    optimizer.zero_grad()   # 首先将所有参数的梯度降为0（因为每次计算梯度后这个值都会保留，不清零就会导致不正确）
    loss.backward()         # 进行反向传递，计算出计算图中所有节点的梯度
    optimizer.step()        # 计算完成后，使用optimizer优化这些梯度
    
    if step % 5 == 0:
        # plot and show learning process
        plt.cla()
        prediction = torch.max(out, 1)[1]         # 这里是输出的结果
        pred_y = prediction.data.numpy()
        target_y = y.data.numpy()
        plt.scatter(x.data.numpy()[:, 0], x.data.numpy()[:, 1], c=pred_y, s=100, lw=0, cmap='RdYlGn')
        accuracy = float((pred_y == target_y).astype(int).sum()) / float(target_y.size)
        plt.text(1.5, -4, 'Accuracy=%.2f' % accuracy, fontdict={'size': 20, 'color':  'red'})
        plt.pause(0.1)

        
plt.ioff()
plt.show()