softmax 回归的从零开始实现｜线性神经网络｜动手选深度学习

howhaokw
343 阅读9分钟

1. 本节直接实现了基于数学定义 softmax 运算的 softmax 函数。这可能会导致什么问题？提示：尝试计算 exp(50) 的大小。

直接实现softmax函数时，使用torch.exp(X)可能会导致数值稳定性问题。当X中的某些元素非常大时，torch.exp(X)的结果可能会变得极其巨大，以至于超出了浮点数能表示的范围，导致溢出（overflow）。在大多数编程语言中，包括Python，浮点数能表示的范围是有限的。

例如，exp(50)的值远远超出了32位或64位浮点数能表示的最大值。在Python中，这将导致inf（无穷大）的结果，因为数值已经超出了浮点数的最大表示范围。

为了解决这个问题，通常采用一种称为“稳定softmax”（stabilized softmax）的方法。这种方法通过从X中减去一个常数来降低数值的规模，这个常数通常是X中的最大值。这样，指数函数的结果就不太可能超出浮点数的范围。

以下是实现稳定softmax的示例代码：

import torch

def softmax(X):
    # 减去每一行的最大值以提高数值稳定性
    X_max = X.max(dim=1, keepdim=True)
    X_exp = torch.exp(X - X_max.values)  # 减去最大值后进行指数运算
    partition = X_exp.sum(dim=1, keepdim=True)  # 计算归一化因子
    return X_exp / partition  # 使用广播机制进行归一化

在这个实现中，X_max是X每一行最大值的集合，并且我们使用keepdim=True来确保维度一致，以便可以进行广播。然后，我们计算X - X_max，这样在每一行中，最大值都会被替换为0，而其他值都会相应减小。接下来，我们计算指数，然后执行归一化。

通过这种方式，softmax函数可以处理非常大的输入值，而不会出现数值溢出的问题。这是在实现softmax或涉及指数函数的其他操作时的一个常见做法。

t = torch.tensor([1, 10, 100]).reshape(-1, 3)
e = torch.exp(t)
t, t.shape, e, e.shape

(tensor([[  1,  10, 100]]),
 torch.Size([1, 3]),
 tensor([[2.7183e+00, 2.2026e+04,        inf]]),
 torch.Size([1, 3]))

def softmax(X):
    X_exp = torch.exp(X)
    partition = X_exp.sum(1, keepdim=True)
    return X_exp / partition  # 这里应用了广播机制

def softmax_stable(X):
    # 减去每一行的最大值以提高数值稳定性
    print(X)
    X_max = X.max(dim=1, keepdim=True)
    print(X_max)
    # return
    X_exp = torch.exp(X - X_max.values)
    partition = X_exp.sum(dim=1, keepdim=True)
    return X_exp / partition

softmax(t)

tensor([[0., 0., nan]])

softmax_stable(t)

tensor([[  1,  10, 100]])
torch.return_types.max(
values=tensor([[100]]),
indices=tensor([[2]]))

tensor([[1.0089e-43, 8.1940e-40, 1.0000e+00]])

2. 本节中的函数 cross_entropy 是根据交叉熵损失函数的定义实现的。它可能有什么问题？提示：考虑对数的定义域。

在提供的 cross_entropy 函数实现中，计算的是预测概率 y_hat 与目标类别 y 之间的负对数损失。这个实现假定 y_hat 是一个概率分布，即它的元素都是非负的且总和为1，而 y 是一个表示真实类别的索引数组。

然而，这个实现可能存在以下问题：

  1. 对数的定义域：torch.log 函数计算的是自然对数，其定义域是正实数。如果 y_hat 中的任何元素为零或负数，torch.log 将会计算一个无效的值（即 NaN 或 -inf），因为对数函数在零的任何负值和正值上都是未定义的。

  2. 梯度问题：当 y_hat 中的元素为零时，其对数为负无穷大，这会导致梯度消失问题，即梯度为零或无穷大，这在反向传播过程中是不可取的。

  3. 数值稳定性：即使 y_hat 中的元素不为零，如果它们非常小，计算其对数时也可能导致数值稳定性问题。

为了解决这些问题，通常使用一种称为“稳定softmax”的技术，它通过从预测概率中减去一个常数（通常是最大值）来避免数值问题。此外，还可以使用 torch.log_softmax 函数，它内部已经考虑了数值稳定性问题。

以下是使用 torch.log_softmax 的改进实现：

import torch

def cross_entropy(y_hat, y):
    # 确保y_hat是log_softmax的结果，这可以提高数值稳定性
    log_probs = torch.log_softmax(y_hat, dim=1)
    # 使用gather方法来选择正确的log概率
    return - log_probs[range(len(y_hat)), y]

在这个改进的实现中，我们首先使用 torch.log_softmax 来计算 y_hat 的每个元素的对数概率，这可以避免对零取对数的问题，并且内部已经考虑了数值稳定性。然后，我们使用 torch.gather 来选择正确的对数概率，而不是直接使用索引，这样可以更安全地访问张量元素，避免潜在的错误。

这种方法可以提高交叉熵损失函数的数值稳定性和计算效率。

y = torch.tensor([0, 2])
y_hat = torch.tensor([[0., 0.3, 0.6], [0.3, 0.2, 0.5]])
y_hat[[0, 1], y]

tensor([0.0000, 0.5000])

def cross_entropy(y_hat, y):
    return - torch.log(y_hat[range(len(y_hat)), y])

cross_entropy(y_hat, y)

tensor([   inf, 0.6931])

def cross_entropy_stable(y_hat, y):
    # return - torch.log(y_hat[range(len(y_hat)), y])
    # 确保y_hat是log_softmax的结果，这可以提高数值稳定性
    log_probs = torch.log_softmax(y_hat, dim=1)
    # 使用gather方法来选择正确的log概率
    return - log_probs[range(len(y_hat)), y]

cross_entropy_stable(y_hat, y)

tensor([1.4284, 0.9398])

4. 返回概率最大的分类标签总是最优解吗？例如，医疗诊断场景下可以这样做吗？

在机器学习中，返回概率最大的分类标签通常是一种常见的做法，特别是在使用softmax输出进行多分类问题时。然而，这是否总是最优解取决于多个因素，包括应用场景、数据特性以及决策的后果。在某些情况下，如医疗诊断，仅仅返回概率最大的标签可能不是最佳选择，原因如下：

  1. 置信度阈值：在医疗诊断等高风险场景中，可能需要设置一个置信度阈值，只有当模型对某个类别的预测概率超过这个阈值时，才将其作为诊断结果。

  2. 不确定性量化：在医疗诊断中，量化预测的不确定性很重要。即使模型对某个类别的预测概率最高，如果概率不是足够高，可能需要进一步的检查或专家的评估。

  3. 成本敏感性：错误的诊断可能带来严重的后果。在某些情况下，避免假阳性或假阴性的决策可能比仅仅选择概率最大的标签更为重要。

  4. 多标签情况：在某些医疗诊断场景中，患者可能同时患有多种疾病。在这种情况下，仅仅选择概率最大的标签是不够的，可能需要考虑所有高概率的诊断。

  5. 模型限制：机器学习模型可能无法捕捉到所有的医学知识或复杂性。因此，模型的输出应该与医生的专业知识和临床判断相结合。

  6. 数据不平衡：在医疗数据中，某些疾病可能比其他疾病更常见，导致数据不平衡。这可能会影响模型的预测，使其偏向于更常见的类别。

  7. 解释性：在医疗诊断中，模型的解释性很重要。仅仅提供一个分类标签可能不足以支持医疗决策，医生可能需要了解模型预测背后的证据和推理过程。

  8. 集成方法：在实践中，可能会使用多个模型来进行诊断，并将它们的预测结果进行集成，以提高诊断的准确性和可靠性。

因此，在医疗诊断等关键场景中，应该谨慎使用机器学习模型的输出，并结合其他信息和专业知识来做出最终决策。此外，还应该对模型进行严格的验证和评估，确保其在实际应用中的有效性和安全性。

5. 假设我们使用softmax回归来预测下一个单词，可选取的单词数目过多可能会带来哪些问题?

使用softmax回归来预测下一个单词是自然语言处理中的一个常见任务，特别是在语言模型或文本生成应用中。然而，当可选取的单词数量非常大时（例如，整个词汇表的大小），这可能会带来一系列问题：

  1. 计算复杂度：softmax函数的计算复杂度与词汇表的大小线性相关。对于每个输入，都需要计算与词汇表大小相乘的指数和，这可能导致计算成本急剧增加。

  2. 梯度消失或爆炸：在反向传播过程中，当词汇表非常大时，可能会导致梯度消失或梯度爆炸问题，这会使得模型难以训练。

  3. 内存消耗：大型词汇表需要更多的内存来存储模型参数，这可能导致内存消耗增加，尤其是在使用较大的模型或批量大小时。

  4. 稀疏性问题：大多数单词在自然语言中出现得非常少，这意味着模型需要处理大量的稀疏数据，这可能会影响学习效率。

  5. 过拟合风险：模型可能会对训练数据中的噪声和异常值过度敏感，导致过拟合，尤其是当模型有足够的参数来记忆训练数据中的每个细节时。

  6. 收敛速度慢：由于参数空间的增加，模型可能需要更多的迭代才能收敛。

  7. 优化难度：优化一个具有大量参数的模型可能更加困难，因为损失函数的景观可能更加复杂和不规则。

  8. 泛化能力：模型可能会捕捉到训练数据中的特定模式，但这些模式可能并不具有普遍性，导致泛化能力下降。

  9. 解码效率：在生成文本时，需要从大量的候选单词中选择概率最高的一个，这可能需要额外的解码策略，如贪婪搜索、维特比算法或束搜索（beam search），以提高效率。

为了解决这些问题，研究人员和工程师们开发了多种策略，包括：

  • 子词建模：使用子词或字符级别的表示来减少词汇表的大小。
  • 嵌入层：引入嵌入层来将单词映射到一个高维空间，其中每个单词由一个密集向量表示。
  • 层次softmax：使用层次softmax来减少计算量。
  • 低秩近似：使用低秩矩阵近似来减少模型的参数数量。
  • 正则化技术：应用L1或L2正则化来防止过拟合。
  • 模型蒸馏：通过训练一个小型的学生模型来模仿一个大型的教师模型的行为。

选择哪种策略取决于具体的应用场景、资源限制以及性能要求。在实际应用中，可能需要结合多种策略来平衡效率和效果。

avatar
文章
阅读
粉丝