Logistic回归是一种方法,当响应变量为二进制时,我们用它来拟合回归模型。
为了评估逻辑回归模型对数据集的拟合程度,我们可以看一下以下两个指标。
- 敏感性: 当观察结果确实为阳性时,模型预测为阳性结果的概率。这也被称为 "真阳性率"。
- 特异性: 当一个观察结果确实是阴性时,该模型预测阴性结果的概率。这也被称为 "真阴性率"。
视觉化这两个指标的一种方法是创建ROC曲线,即 "接受者操作特征 "曲线。
这是一个沿Y轴显示灵敏度,沿X轴显示(1-特异性)的图。
量化逻辑回归模型在数据分类方面表现如何的一种方法是计算AUC,它代表 "曲线下面积"。
AUC的值从0到1不等。一个AUC为1的模型能够完美地将观测数据分类,而一个AUC为0.5的模型并不比一个进行随机猜测的模型好。
什么是好的AUC分数?
学生们经常有一个关于AUC的问题是。
什么是好的AUC分数?
答案是。
什么是好的AUC分数,并没有具体的门槛。
显然,AUC分数越高,模型就越能将观测值归入类别。
我们知道,一个AUC分数为0.5的模型并不比一个进行随机猜测的模型好。
然而,没有一个神奇的数字可以决定AUC分数是好是坏。
如果我们 必须 给某些分数贴上好或坏的标签,我们可以参考Hosmer和Lemeshow在《应用Logistic回归》(第177页)中的以下经验法则 。
- 0.5= 无歧视
- 0.5-0.7= 歧视性差
- 0.7-0.8=可接受的区分度
- **0.8-0.9=**优秀的歧视
- >0.9= 优秀的区分度
根据这些标准,AUC得分低于0.7的模型将被认为是差的,而高于0.7的模型将被认为是可以接受或更好的。
一个 "好 "的AUC分数因行业而异
重要的是要记住,什么是 "好 "的AUC分数因行业而异。
例如,在医疗环境中,研究人员经常寻求超过0.95的AUC分数,因为错误的成本很高。
例如,如果我们有一个预测病人是否会患癌症的逻辑回归模型,错误的代价(错误地告诉病人他们没有患癌症)是如此之高,以至于我们想要一个几乎每次都正确的模型。
相反,在其他行业,如市场营销,一个较低的AUC分数可能是可以接受的模型。
例如,如果我们有一个预测客户是否会成为回头客的模型,错误的代价并不是改变生命,所以一个AUC低至0.6的模型仍然是有用的。
将AUC分数与当前模型进行比较
在现实世界中,我们经常将新的逻辑回归模型的AUC分数与当前使用的模型的AUC分数进行比较。
例如,假设一家企业使用一个逻辑回归模型来预测客户是否会成为回头客。
如果当前模型的AUC分数为0.6,而你开发的新模型的AUC为0.65,那么你开发的新模型将是最好的,尽管它只提供了轻微的改进,按照Hosmer和Lemeshow的标准将被视为 "差"。
其他资源
以下教程提供了关于如何创建和解释ROC曲线和AUC分数的额外信息。
如何解释ROC曲线(有例子)
如何在Python中创建ROC曲线
如何在R中创建ROC曲线
如何在R中计算AUC
The postWhat is considered a Good AUC Score?appeared first onStatology.