动手学深度学习4.5 正则化权重衰退代码手动实现

参与11月更文挑战的第16天，活动详情查看：2021最后一次更文挑战

import torch
from torch import nn
from d2l import torch as d2l

n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5
true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
train_data = d2l.synthetic_data(true_w, true_b, n_train)
train_iter = d2l.load_array(train_data, batch_size)
test_data = d2l.synthetic_data(true_w, true_b, n_test)
test_iter = d2l.load_array(test_data, batch_size, is_train=False)

首先是生成人工数据集：

y = 0.05 + \sum_{i = 1}^d 0.01 x_i + \epsilon \text{ where } \epsilon \sim \mathcal{N}(0, 0.01^2)

显示设置训练集、测试集、特征量、batch size
- 训练集设置为20，但是特征量设置为200。因为训练数据越少，模型越复杂，就越容易发生过拟合现象。在这里相当于训练数据20个，但是你要用200阶的函数来拟合。
- 测试集设置为100，其实这里不影响，设置多大都行。数据多一点让过拟合效果显示地更明显。
- batch size就是mini-batch一个batch的大小。
设置真是的w，b

synthetic函数是之前在动手学深度学习3.2-从零手动实现线性回归里边实现过的。用它生成训练集和测试集。

"""生成 y = Xw + b + 噪声。"""
def synthetic_data(w, b, num_examples):  
    # torch.normal(means, std, out=None) 生成均值为means，标准差为std的正态分布的随机数张量
    X = torch.normal(0, 1, (num_examples, len(w))) 
    y = torch.matmul(X, w) + b
    # 添加高斯噪声
    y += torch.normal(0, 0.01, y.shape) 
    # 将y从1000的tensor变为1000×1的tensor
    return X, y.reshape((-1, 1))

load_array是在动手学深度学习3.3-线性回归简洁实现中实现过。用于加载数据集。

def load_array(data_arrays, batch_size, is_train=True):
"""构造一个PyTorch数据迭代器。""" 
    dataset = data.TensorDataset(*data_arrays) 
    return data.DataLoader(dataset, batch_size, shuffle=is_train)

def init_params():
    w = torch.normal(0, 1, size=(num_inputs, 1), requires_grad=True)
    b = torch.zeros(1, requires_grad=True)
    return [w, b]

随机初始化。

def l2_penalty(w):
    return torch.sum(w.pow(2)) / 2

$L_2$ 范数惩罚

def train(lambd):
    w, b = init_params()
    net, loss = lambda X: d2l.linreg(X, w, b), d2l.squared_loss
    num_epochs, lr = 100, 0.003
    
    # 用于可视化，可以忽略
    animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',
                            xlim=[5, num_epochs], legend=['train', 'test'])
                            
    for epoch in range(num_epochs):
        for X, y in train_iter:
            with torch.enable_grad():
                # 增加了L2范数惩罚项，广播机制使l2_penalty(w)成为一个长度为`batch_size`的向量。
                l = loss(net(X), y) + lambd * l2_penalty(w)
            l.sum().backward()
            d2l.sgd([w, b], lr, batch_size)
            
        if (epoch + 1) % 5 == 0: # 用于可视化，可以忽略
            animator.add(epoch + 1, (d2l.evaluate_loss(net, train_iter, loss),
                                     d2l.evaluate_loss(net, test_iter, loss)))
                                     
    print('w的L2范数是：', torch.norm(w).item())

net, loss = lambda X: d2l.linreg(X, w, b), d2l.squared_loss这里对net赋值lambda X: d2l.linreg(X, w, b)，是用到python匿名函数。即调用net(X)就相当于调用d2l.linreg(X, w, b)。

关于lambda匿名内联函数可以看：python lambda匿名内联函数 - 掘金 (juejin.cn)。

train(lambd=0)

训练！ lambd = 0禁用权重衰减后运行这个代码。注意，这里训练误差有了减少，但测试误差没有减少。这意味着出现了严重的过拟合。

train(lambd=3)

权重衰减来运行代码。注意，在这里训练误差增大，但测试误差减小。这正是我们期望从正则化中得到的效果。

《动手学深度学习》系列更多可以看这里：《动手学深度学习》 - LolitaAnn的专栏 - 掘金 (juejin.cn)

笔记还在更新中…………

动手学深度学习4.5 正则化 权重衰退代码手动实现

动手学深度学习4.5 正则化权重衰退代码手动实现