动手学深度学习

1. 设计一个接受输入并计算张量降维的层，它返回 $y_k = \sum_{i, j} W_{ijk} x_i x_j$。 2. 设计一个返回输入数据的傅立叶系数前半部分的层。

1. 如果指定了第一层的输入尺寸，但没有指定后续层的尺寸，会发生什么？是否立即进行初始化？ 在深度学习框架中，"延后初始化"（deferred initialization）是一种常见的做法，它允许在

1. 使用 :numref:sec_model_construction 中定义的 FancyMLP 模型，访问各个层的参数。 2. 查看初始化模块文档以了解不同的初始化方法。 PyTorch Doc

1. 如果将 MySequential 中存储块的方式更改为 Python 列表，会出现什么样的问题？ 在PyTorch中，nn.Module的子类通常使用OrderedDict来存储模块的子模块，这

1. 除了多层感知机的排列对称性之外，还能设计出其他神经网络可能会表现出对称性且需要被打破的情况吗？ 在神经网络的设计和训练过程中，对称性是一个需要考虑的重要因素。对称性可能带来一些不期望的特性，比如

1. 假设一些标量函数 X 的输入 X 是 n * m 矩阵。f 相对于 X 的梯度维数是多少？ 2. 向本节中描述的模型的隐藏层添加偏置项（不需要在正则化项中包含偏置项）。

1. 如果更改第一层和第二层的暂退法概率，会发生什么情况？具体地说，如果交换这两个层，会发生什么情况？设计一个实验来回答这些问题，定量描述该结果，并总结定性的结论。 首先引入大的暂退概率，使得训练准确

1. 在本节的估计问题中使用 $\lambda$ 的值进行实验。绘制训练和测试精度关于 $\lambda$ 的函数。观察到了什么？ 2. 使用验证集来找到最佳值 $\lambda$。它真的是最优值吗？

1. 考虑多项式的模型选择。 绘制训练损失与模型复杂度（多项式的阶数）的关系图。观察到了什么？需要多少阶的多项式才能将训练损失减少到0? 在这种情况下绘制测试的损失图。 生成同样的图，作为数据量的函数

2. 尝试不同的激活函数，哪个效果最好？ nn.ReLU(), nn.LeakyReLU(), nn.PReLU(), nn.RReLU(), nn.ReLU6(),

1. 在所有其他参数保持不变的情况下，更改超参数 `num_hiddens` 的值，并查看此超参数的变化对结果有何影响。确定此超参数的最佳值。

1. 计算 pReLU 激活函数的导数。 2. 证明一个仅使用 ReLU（或 pReLU）的多层感知机构造了一个连续的分段线性函数。

1. 尝试调整超参数，例如批量大小、迭代周期数和学习率，并查看结果。 2. 增加迭代周期的数量。为什么测试精度会在一段时间后降低？我们怎么解决这个问题？

1. 本节直接实现了基于数学定义 softmax 运算的 softmax 函数。这可能会导致什么问题？提示：尝试计算 exp(50) 的大小。

1. 减少 batch_size（如减少到 1）是否会影响读取性能？ 2. 数据迭代器的性能非常重要。当前的实现足够快吗？探索各种选择来改进它。

1. 我们可以更深入地探讨指数族与 softmax 之间的联系。 计算 softmax 交叉熵损失 L(y, y^) 的二阶导数。

1. 如果将小批量的总损失替换小批量损失的平均值，需要如何更改学习率？ 2. 查看深度学习框架文档，它们提供了哪些损失函数和初始化方法？用Huber损失代替原损失。

1. 如果我们将权重初始化为零，会发生什么。算法仍然有效吗？ 6. 尝试使用不同的学习率，观察损失函数值下降的快慢。

1. 假设我们有一些数据 X1...Xn in R。我们的目标是找到一个常数 b，使得最小化 sum((Xi - b)^2)。 找到最优值 b 的解析

1. 进行 m=500 组实验，每组抽取 n=10 个样本。改变 m 和 n，观察和分析实验结果 2. 给定两个概率为 P(A) 和 P(B) 的事件，计算 P(AUB) 和 P(AnB) 的上下限