如何处理glm.fit拟合的概率数值为0或1的情况

2,581 阅读3分钟

你在R中可能遇到的一个警告信息是:

Warning message:
glm.fit: fitted probabilities numerically 0 or 1 occurred 

当你拟合一个逻辑回归模型,并且在你的数据框架中一个或多个观测值的预测概率与0或1不可同日而语时,就会出现这个警告。

值得注意的是,这是一个警告信息而不是一个错误。即使你收到这个错误,你的逻辑回归模型仍将被拟合,但可能值得分析一下原始数据框,看看是否有任何异常值导致这个警告信息出现。

本教程分享如何在实践中解决这个警告信息。

如何重现该警告

假设我们在R语言中对下面的数据框拟合了一个逻辑回归模型:

#create data frame
df <- data.frame(y = c(0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1),
                 x1 = c(3, 3, 4, 4, 3, 2, 5, 8, 9, 9, 9, 8, 9, 9, 9),
                 x2 = c(8, 7, 7, 6, 5, 6, 5, 2, 2, 3, 4, 3, 7, 4, 4))

#fit logistic regression model
model <- glm(y ~ x1 + x2, data=df, family=binomial)

#view model summary
summary(model)

Warning message:
glm.fit: fitted probabilities numerically 0 or 1 occurred 

Call:
glm(formula = y ~ x1 + x2, family = binomial, data = df)

Deviance Residuals: 
       Min          1Q      Median          3Q         Max  
-1.729e-05  -2.110e-08   2.110e-08   2.110e-08   1.515e-05  

Coefficients:
              Estimate Std. Error z value Pr(>|z|)
(Intercept)    -75.205 307338.933       0        1
x1              13.309  28512.818       0        1
x2              -2.793  37342.280       0        1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 2.0728e+01  on 14  degrees of freedom
Residual deviance: 5.6951e-10  on 12  degrees of freedom
AIC: 6

Number of Fisher Scoring iterations: 24

我们的逻辑回归模型成功地拟合了数据,但是我们收到了一条警告信息:拟合的概率在数字上为0或1

如果我们使用拟合的逻辑回归模型对原始数据框中的观察值进行预测,我们可以看到几乎所有的预测概率都与0和1没有区别。

#use fitted model to predict response values
df$y_pred = predict(model, df, type="response")

#view updated data frame
df

   y x1 x2       y_pred
1  0  3  8 2.220446e-16
2  0  3  7 2.220446e-16
3  0  4  7 2.220446e-16
4  0  4  6 2.220446e-16
5  0  3  5 2.220446e-16
6  0  2  6 2.220446e-16
7  0  5  5 1.494599e-10
8  1  8  2 1.000000e+00
9  1  9  2 1.000000e+00
10 1  9  3 1.000000e+00
11 1  9  4 1.000000e+00
12 1  8  3 1.000000e+00
13 1  9  7 1.000000e+00
14 1  9  4 1.000000e+00
15 1  9  4 1.000000e+00

如何处理该警告

有三种方法来处理这个警告信息:

(1) 忽略它

在某些情况下,你可以简单地忽略这个警告信息,因为它不一定表明逻辑回归模型出了问题。它只是意味着数据框架中的一个或多个观测值的预测值与0或1没有区别。

(2) 增加样本量

在其他情况下,这个警告信息出现在你处理小的数据框架时,因为根本没有足够的数据来提供一个可靠的模型拟合。为了解决这个错误,只需增加进入模型的观测值的样本量。

(3) 删除异常值

在其他情况下,当原始数据框中存在离群值,并且只有少数观测值的拟合概率接近于0或1时,就会出现这种错误。通过去除这些离群值,警告信息往往就会消失。

其他资源

下面的教程解释了如何处理R中的其他警告和错误:

如何在R中修复:ExtractVars中无效的模型公式
如何在R中修复:参数不是数字或逻辑:返回na
如何修复:RandomForest.default(m, y, ...) :国外函数调用中的Na/NaN/Inf