一起养成写作习惯！这是我参与「掘金日新计划 · 4 月更文挑战」的第23天，点击查看活动详情。

前言

本文为我之前在CSDN平台上的一篇博客记录。原链接为：blog.csdn.net/u011426236/…

Pytorch回归模型搭建

本篇笔记主要对应于莫凡Pytorch中的3.1节。主要讲了如何使用Pytorch搭建一个回归模型的神经网络。

在Pytorch中自定义一个神经网络时，我们需要继承torch.nn.Module来书写自己的神经网络。在继承该类时，必须重新实现__init__构造函数和forward这两个方法。这里有一些注意点：

一般把网络中具有可学习参数的层（如全连接层、卷积层等）放在构造函数__init__()中，当然我也可以吧不具有参数的层也放在里面；
一般把不具有可学习参数的层(如ReLU、dropout、BatchNormanation层)可放在构造函数中，也可不放在构造函数中，如果不放在构造函数__init__里面，则在forward方法里面可以使用nn.functional来代替；
forward方法是必须要重写的，它是实现模型的功能，实现各个层之间的连接关系的核心。

接下来我们来自己搭建一个回归模型的神经网络。

数据生成与展示

这里生成一组 $y=x^2$ 的数据，并加入一些随机噪声。

import torch
import torch.nn.functional as F
import matplotlib.pyplot as plt

x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)   # x data (tensor), shape=(100, 1)
y = x.pow(2) + 0.2*torch.rand(x.size())                  # noisy y data (tensor), shape=(100, 1)

我们使用matplotlib中的scatter函数绘制散点供可视化展示，数据的分布可视化如下：

plt.scatter(x.data.numpy(), y.data.numpy())
plt.show()

在这里插入图片描述

可以看到，数据大致服从一个二次函数曲线的形式分布。在噪声干扰下，略有偏差。

基本网络搭建

我们自定义一个类来完成回归操作

class Net(torch.nn.Module):
    def __init__(self, n_feature, n_hidden, n_output):
        # 分别表示feature个数、隐藏层神经元数个数、输出值数目
        super(Net, self).__init__()
        self.hidden = torch.nn.Linear(n_feature, n_hidden)
        self.predict = torch.nn.Linear(n_hidden, n_output)
    
    def forward(self, x):
        # x 是输入数据
        x = F.relu(self.hidden(x))
        y = self.predict(x)
        return y

这是一个两层的神经网络，其包含一个隐藏层即self.hidden，之后便连接一个输出层self.predict。在前向传播时，网络对隐层的输出进行了Relu操作。值得注意的是，前一层网络的输出维度必须要与后一层输入维度一致，这样才可以保证信息无误流通。

网络搭建完成后，我们可以打印输出一下这个网络的基本结构

net = Net(1, 10, 1)
print(net)

得到输出如下

Net(
  (hidden): Linear(in_features=1, out_features=10, bias=True)
  (predict): Linear(in_features=10, out_features=1, bias=True)
)

可以看到，这里第一个Linear层的输入维度为1，输出维度为10；第二个Linear层的输入维度为10，输出维度为1。这里保证了第二层Linear的输入维度与第一层的输出维度一致。

设置优化器和损失函数

接下来我们设置网络的优化器和损失函数。优化方法设置为随机梯度下降法，学习率设置为0.5。一般回归问题使用均方误差（Mean-square error，缩写MSE）作为损失函数。

optimizer = torch.optim.SGD(net.parameters(), lr=0.5)  
loss_func = torch.nn.MSELoss()    # 回归问题采用MSE

训练与展示

最后，我们展示输出并可视化中间过程。

plt.ion()
for step in range(100):
    prediction = net(x)
    
    loss = loss_func(prediction, y)
    
    optimizer.zero_grad()   # 首先将所有参数的梯度降为0（因为每次计算梯度后这个值都会保留，不清零就会导致不正确）
    loss.backward()         # 进行反向传递，计算出计算图中所有节点的梯度
    optimizer.step()        # 计算完成后，使用optimizer优化这些梯度
    
    if step % 20 == 0:
        # plot and show learning process
        plt.cla()
        plt.scatter(x.data.numpy(), y.data.numpy())
        plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
        plt.text(0.5, 0, 'Loss=%.4f' % loss.data)
        plt.savefig("./img/02_"+str(step)+".png")
        plt.pause(0.1)
        
plt.ioff()
plt.show()