动手学深度学习3.3-线性回归简洁实现

Ann_
1,616 阅读2分钟

这是我参与11月更文挑战的第2天，活动详情查看：2021最后一次更文挑战

一开始还是导包，现在就不用自己写了，直接用pytorch的nn模块。

import torch
from torch.utils import data
from d2l import torch as d2l
from torch import nn

更手动实现线性回归一样，先手动生成数据集，上一节已经写过怎么手动生成了，所以不再写了，并且都都d2l这个包里已经集成了这个功能（d2l为了《动手学深度学习》专门搞的一个包）

true_w = torch.tensor([2, -3.4])
true_b = 4.2
# synthetic_data 这个在上一节已经实现了，所以集成到d2l，不用再自己写
features, labels = d2l.synthetic_data(true_w, true_b, 1000)

下边是加载数据集，用到的from torch.utils import data。shuffle就是跟之前一样，要不要打乱顺序。

def load_array(data_arrays, batch_size, is_train=True):  #@save
    """构造一个PyTorch数据迭代器。"""
    dataset = data.TensorDataset(*data_arrays)
    return data.DataLoader(dataset, batch_size, shuffle=is_train)

这里的data_iter还是一个迭代器，可以用next访问，跟上一节的没区别。

batch_size = 10
data_iter = load_array((features, labels), batch_size)

nn中定义了大量的层，相当于我们的全连接层。本来简单的线性模型不需要用到Sequential的，但是为了熟悉操作，这里强行使用Sequential。

nn.Linear(2, 1)指定输入和输出的维度。

通过net[0]初始化权重weight和偏执bias。

loss也不用自己写了，直接使用内置的MSELoss，就是那个1n∑(y^−y)2\frac1 n \sum{(\hat y - y)^2} 这里要详细说一下MSELoss函数。通过reduction可以决定返回值的类型。 reduction可以取三个值，默认是mean

  • 'none': no reduction will be applied.
  • 'mean': the sum of the output will be divided by the number of elements in the output.
  • 'sum': the output will be summed.

none就是什么也不用做，直接返回一个tensor。(y^−y)2{(\hat y - y)^2}

sum顾名思义就是对这个tensor求和，求和之后返回tensor的加和并且完成降维∑(y^−y)2\sum{(\hat y - y)^2}

mean也是降维，默认情况下就是mean，求和之后求取平均值。1n∑(y^−y)2\frac1 n \sum{(\hat y - y)^2}

优化函数也不用自己写了。pytorch给了。

net = nn.Sequential(nn.Linear(2, 1))

net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)

loss = nn.MSELoss()

trainer = torch.optim.SGD(net.parameters(), lr=0.03)

num_epochs = 3，仅执行三次梯度下降。

num_epochs = 3
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X) ,y)
        trainer.zero_grad()
        l.backward()
        trainer.step()
    l = loss(net(features), labels)
    print(f'epoch {epoch + 1}, loss {l:f}')
avatar
文章
阅读
粉丝