动手学深度学习

1. 尝试说明独热编码等价于为每个对象选择不同的嵌入表示。 独热编码和嵌入表示是两种常用的向量化表示方法，它们在某些情况下可以等效地表示对象，尤其是在表示离散的类别特征时。 独热编码（One-Hot

1. 尝试使用高级API，能使循环神经网络模型过拟合吗？ 使用高级API（例如TensorFlow的Keras API或PyTorch的高级API）构建循环神经网络模型不会自动导致过拟合。过拟合是指模

1. 如果我们使用循环神经网络来预测文本序列中的下一个字符，那么任意输出所需的维度是多少？ 循环神经网络（RNN）是一种用于处理序列数据的神经网络，它能够捕捉序列中的时间依赖性。在预测文本序列中的下一

1. 假设训练数据集中有 $100,000$ 个单词。一个四元语法需要存储多少个词频和相邻多词频率？ 为了计算一个四元语法（4-gram）需要存储的词频和相邻多词频率，我们需要了解如何计算n-gram

1. 词元化是一个关键的预处理步骤，它因语言而异。尝试找到另外三种常用的词元化文本的方法。 词元化（Tokenization）是自然语言处理（NLP）中的一个关键步骤，其目的是将文本分解成更小的单位（

1. 改进本节实验中的模型。 是否包含了过去 $4$ 个以上的观测结果？真实值需要是多少个？ 如果没有噪音，需要多少个过去的观测结果？提示：把 $\sin$ 和 $\cos$ 写成微分方程。 可以在保

1. 图7.4.1 中的 Inception 块与残差块之间的主要区别是什么？在删除了 Inception 块中的一些路径之后，它们是如何相互关联的？ 图中的 Inception 块与残差块之间的主要

1. 在使用批量规范化之前，我们是否可以从全连接层或卷积层中删除偏置参数？为什么？ 在使用批量规范化（Batch Normalization，BN）之前，我们可以从全连接层或卷积层中删除偏置参数。这是

1. GoogLeNet 有一些后续版本。尝试实现并运行它们，然后观察实验结果。这些后续版本包括： 添加批量规范化层 (Ioffe and Szegedy, 2015)（batch normaliza

1. 调整 NiN 的超参数，以提高分类准确性。 为了提高Network-in-Network（NiN）模型的分类准确率，可以调整以下超参数和模型组件： 增加卷积层的滤波器数量：增加每层卷积层的滤波器

1. 打印层的尺寸时，我们只看到8个结果，而不是11个结果。剩余的3层信息去哪了？ 2. 与AlexNet相比，VGG的计算要慢得多，而且它还需要更多的显存。分析出现这种情况的原因。 与AlexNet

1. 试着增加迭代轮数。对比LeNet的结果有什么不同？为什么？ 2. AlexNet对Fashion-MNIST数据集来说可能太复杂了。 尝试简化模型以加快训练速度，同时确保准确性不会显著下降。 设

1. 将平均汇聚层替换为最大汇聚层，会发生什么？ 将下面的 LeNet 实现中的平均汇聚层替换为最大汇聚层，会发生什么？ 在LeNet架构中，将平均汇聚层（nn.AvgPool2d）替换为最大汇聚层（

1. 尝试将平均汇聚层作为卷积层的特殊情况实现。 实现思路 平均汇聚层（Average Pooling Layer）可以看作是一种特殊的卷积层，其卷积核的大小等于汇聚窗口的大小，卷积核的权重都是相同的

1. 假设我们有两个卷积核，大小分别为$k_1$和$k_2$（中间没有非线性激活函数）。 证明运算可以用单次卷积来表示。 这个等效的单个卷积核的维数是多少呢？ 反之亦然吗？ 假设我们有两个卷积核，大小

1. 对于本节中的最后一个示例，计算其输出形状，以查看它是否与实验结果一致 2. 在本节中的实验中，试一试其他填充和步幅组合 3. 对于音频信号，步幅2说明什么 4. 步幅大于1的计算优势是什么

1. 构建一个具有对角线边缘的图像 X。 如果将本节中举例的卷积核K应用于X，会发生什么情况？ 如果转置X会发生什么？ 如果转置K会发生什么？ 1. 在我们创建的Conv2D自动求导时，有什么错误消息

1. 为什么平移不变性可能也不是好主意呢？ 卷积神经网络（CNN）通常设计为具有平移不变性，这是因为它们通过共享权重的卷积层和池化层来处理输入的局部特征，从而对图像的平移具有鲁棒性。然而，尽管平移不变

1. 尝试一个计算量更大的任务，比如大矩阵的乘法，看看 CPU 和 GPU 之间的速度差异。再试一个计算量很小的任务呢？ 2. 我们应该如何在 GPU 上读写模型参数？ 在深度学习中，模型参数通常存储

1. 即使不需要将经过训练的模型部署到不同的设备上，存储模型参数还有什么实际的好处？ 存储模型参数有许多实际的好处，即使不需要将经过训练的模型部署到不同的设备上。以下是几个关键的好处： 1. 持久化保