在深度学习领域，循环神经网络（RNN）是一种非常重要的模型，特别适合处理序列数据，比如文本、时间序列等。在前面的文章中，我们已经学习了如何从零开始实现一个循环神经网络。虽然这种方式有助于我们理解RNN的内部机制，但在实际应用中，使用深度学习框架的高级API可以让我们更高效地构建和训练模型。本文将带你了解如何使用PyTorch的高级API简洁地实现一个循环神经网络。
1. 准备工作
首先，我们需要导入一些必要的库，并加载数据集。这里我们使用《时光机器》这本小说的文本作为训练数据。
import torch
from torch import nn
from torch.nn import functional as F
import d2l
batch_size, num_steps = 32, 35
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
2. 定义模型
2.1 循环神经网络层
PyTorch提供了nn.RNN类来实现循环神经网络层。我们可以通过指定输入维度、隐藏层大小等参数来创建一个RNN层。
num_hiddens = 256
rnn_layer = nn.RNN(input_size=len(vocab), hidden_size=num_hiddens)
这里，我们创建了一个具有256个隐藏单元的RNN层。len(vocab)表示输入数据的维度，即词汇表的大小。
2.2 初始化隐状态
在RNN中，隐状态（hidden state） 是一个非常重要的概念。它 保存了模型在处理序列数据时的“记忆”。我们可以使用一个全零的张量来初始化隐状态。
state = torch.zeros(size=(1, batch_size, num_hiddens))
这里的state张量的形状是(隐藏层数, 批量大小, 隐藏单元数)。由于我们只有一个隐藏层，所以第一个维度是1。
2.3 前向传播
接下来，我们可以通过RNN层进行前向传播。输入数据X的形状是(时间步数, 批量大小, 输入维度)。
X = torch.rand(size=(num_steps, batch_size, len(vocab)))
Y, state_new = rnn_layer(X, state)
print(Y.shape) # 输出：torch.Size([35, 32, 256])
Y是RNN层的输出，它的形状是(时间步数, 批量大小, 隐藏单元数)。state_new是更新后的隐状态。
2.4 定义完整的RNN模型
虽然rnn_layer已经实现了RNN的核心功能，但我们还需要添加一个输出层来将隐藏状态映射到词汇表大小的输出空间。
class RNNModel(nn.Module):
"""循环神经网络模型"""
def __init__(self, rnn_layer, vocab_size, **kwargs):
super(RNNModel, self).__init__(**kwargs)
self.rnn = rnn_layer
self.vocab_size = vocab_size
self.num_hiddens = self.rnn.hidden_size
# 如果RNN是双向的（之后会介绍），num_directions应该是2，否则应该是1
if not self.rnn.bidirectional:
self.num_directions = 1
self.linear = nn.Linear(self.num_hiddens, self.vocab_size)
else:
self.num_directions = 2
self.linear = nn.Linear(self.num_hiddens * 2, self.vocab_size)
def forward(self, inputs, state):
X = F.one_hot(inputs.T.long(), self.vocab_size)
X = X.to(dtype=torch.float32)
Y, state = self.rnn(X, state)
# 全连接层首先将Y的形状改为 (时间步数*批量大小,隐藏单元数)
# 它的输出形状是(时间步数*批量大小,词表大小)。
output = self.linear(Y.reshape((-1, Y.shape[-1])))
return output, state
def begin_state(self, device, batch_size=1):
if not isinstance(self.rnn, nn.LSTM):
# nn.GRU（门控循环单元，RNN的一种变体）以张量作为隐状态
return torch.zeros((self.num_directions * self.rnn.num_layers,
batch_size, self.num_hiddens),
device=device)
else:
# nn.LSTM以元组作为隐状态
return (
torch.zeros((self.num_directions * self.rnn.num_layers, batch_size, self.num_hiddens),
device=device),
torch.zeros((self.num_directions * self.rnn.num_layers, batch_size, self.num_hiddens),
device=device)
)
在这个RNNModel类中，我们定义了一个线性层self.linear，它将RNN的输出映射到词汇表大小的空间。forward方法实现了模型的前向传播过程。
3. 训练与预测
3.1 初始化模型
在训练模型之前，我们可以先使用随机初始化的模型进行预测，看看模型的表现如何。
device = d2l.try_gpu()
net = d2l.RNNModel(rnn_layer, vocab_size=len(vocab))
net = net.to(device)
print(d2l.predict_ch8('time traveller', 10, net, vocab, device))
输出：
time travellergwgggggggg
由于模型是随机初始化的，预测结果通常是不合理的。
3.2 训练模型
接下来，我们使用之前定义的超参数来训练模型。
num_epochs, lr = 500, 1
d2l.train_ch8(net, train_iter, vocab, lr, num_epochs, device)
在训练过程中，模型会逐渐学习到文本数据的规律，困惑度（perplexity）会逐渐降低。
困惑度 1.3, 28341.6 词元/秒 cpu
time traveller hald have to soat ones so heanlly sauteatien thor
traveller of the soutte wo mour a limely uracimand whick bu
4. 小结
通过使用PyTorch的高级API，我们可以非常简洁地实现一个循环神经网络。相比从零开始实现，这种方式不仅代码量更少，而且训练速度更快。在实际应用中，推荐使用深度学习框架提供的高级API来构建和训练模型。
