【漫话机器学习系列】265.普拉托变换的相关问题（Issues With Platt Scaling）Platt Sca

Platt Scaling 的相关问题详解 | 模型校准中的隐患分析

在机器学习模型中，模型预测的“置信度”并不一定等于真实的概率。为了提高模型预测结果的可解释性和实用性，我们通常会使用一种后处理的概率校准方法——Platt Scaling（普拉托变换） 。

然而，Platt Scaling 虽然常用，也并非万能。在实践中，它可能会带来一些潜在的问题。本文将结合下图，详细分析使用 Platt Scaling 时常见的两个关键问题。

Platt Scaling 是一种基于逻辑回归的概率校准方法。它的核心思想是：
在模型已经输出一个打分（如 SVM 的输出距离）之后，再训练一个逻辑回归模型来将这些分数映射为概率。

数学形式为：

$P(y=1 \mid f) = \frac{1}{1 + \exp(Af + B)}$

其中，f 是原模型输出的打分，A、B 是通过最小化负对数似然（NLL）训练得到的参数。

“由于我们训练了额外的交叉验证模型，单位时间内的资源会有一个明显的增长。”

Platt Scaling 在实际应用时，为了避免过拟合，通常会采用交叉验证（如 3-fold、5-fold）来训练概率校准模型。也就是说，在原有模型训练之外，还需要构建若干个额外模型用于拟合 Platt Scaling 的 A 和 B 参数。

“由于预测概率已知，因此可能会造成预测结果与预测概率不匹配。”

Platt Scaling 的目标是将模型输出映射为概率。但因为训练过程中，目标是最小化负对数似然损失（NLL） ，这可能导致模型更关注概率拟合而非最终分类正确性。

此外，在某些数据分布不平衡的情况下，Platt Scaling 会受到过拟合干扰。例如，极端样本过多时，预测概率会被“压缩”或“放大”，与实际预测结果不一致。

假设原始模型对某个样本打分是 2.5，意味着分类器非常自信。但经过 Platt Scaling 后，映射的概率可能只有 0.6。这会影响到后续使用这些概率的任务，比如排序、风险评估等。

Platt Scaling 是一种经典且有效的概率校准方法，但它并非完美。在使用时，我们应充分了解其带来的代价和潜在失配问题，合理评估其适用性。