参与11月更文挑战的第9天，活动详情查看：2021最后一次更文挑战
目前广泛使用的图像分类数据集之一是MNIST数据集 LeCun.Bottou.Bengio.ea.1998（就那个手写数字识别的数据集）。虽然它是很不错的基准数据集，但按今天的标准，即使是简单的模型也能达到95%以上的分类准确率，因此不适合区分强模型和弱模型。现在我们使用2017年发布的性质相似但相对复杂的Fashion-MNIST数据集Xiao.Rasul.Vollgraf.2017。
import torch
import torchvision
from torch.utils import data
from torchvision import transforms
from d2l import torch as d2l
# d2l使用svg来显示图片使其清晰度更高
d2l.use_svg_display()
trans = transforms.ToTensor()
mnist_train = torchvision.datasets.FashionMNIST(
root="../data", train=True, transform=trans, download=False)
mnist_test = torchvision.datasets.FashionMNIST(
root="../data", train=False, transform=trans, download=False)
- 在这里会出现一个警告，看这里：torchvision.transforms.ToTensor详解 | 使用transforms.ToTensor()出现用户警告 - 掘金 (juejin.cn)
trans = transforms.ToTensor()预处理，将图片转换为tensor.通过ToTensor实例将图像数据从PIL类型变换成32位浮点数格式,并除以255使得所有像素的数值均在0到1之间。torchvision.datasets.FashionMNIST:从torchvision的dataset中把数据集拿到- train 是否下载训练数据集
- transforme 是否转换
- download 是否下载
len(mnist_train), len(mnist_test)
# 看训练集和测试集的样本数量
mnist_train[0][0].shape
# 查看第一张图片的形状
这里形状输出为torch.Size([1, 28, 28])，一通道，28*28的图。
batch_size = 256
def get_dataloader_workers(): #@save
"""使用4个进程来读取数据。"""
return 4
# num_workers多线程读取，这里是4线程
train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True,
num_workers=get_dataloader_workers())
读取一小批量数据，大小为batch_size 在训练数据迭代器中还随机打乱了所有样本。
然后可以看一下读取训练数据集所需要的时间。
timer = d2l.Timer()
for X, y in train_iter:
continue
f'{timer.stop():.2f} sec'
最后将所有的功能整合成为一个函数。这个resize是看要不要调整输入形状。
def load_data_fashion_mnist(batch_size, resize=None): #@save
"""下载Fashion-MNIST数据集，然后将其加载到内存中。"""
trans = [transforms.ToTensor()]
if resize:
trans.insert(0, transforms.Resize(resize))
trans = transforms.Compose(trans)
mnist_train = torchvision.datasets.FashionMNIST(
root="../data", train=True, transform=trans, download=True)
mnist_test = torchvision.datasets.FashionMNIST(
root="../data", train=False, transform=trans, download=True)
return (data.DataLoader(mnist_train, batch_size, shuffle=True,
num_workers=get_dataloader_workers()),
data.DataLoader(mnist_test, batch_size, shuffle=False,
num_workers=get_dataloader_workers()))
