机器学习:shap value 模型可解释性

1,658 阅读3分钟

参考网址

blog.csdn.net/a7303349/ar…

1/什么是shap value

shap value(shap值)衡量特征的边际贡献度,是当前模型解释的最佳方法之一,
对于模型进行可视化的全局解释、局部解释,可以在一定程度上满足业务对于模型解释性的要求。

全局解释,特征对于整体模型的影响,可以作为特征重要性帮助筛选变量;
局部解释,对单个样本的预测结果进行解释,可以直观地让我们看到单个样本预测结果的主要影响因素-特征有哪些、以及相应的影响程度,这样在风控业务中对于模型预测风险偏高的样本、我们可以给出模型认为他风险偏高的原因。

2/shap的本质原理

有甲、乙、丙三个工人,单人工作时、多人协同工作时每天的罐子产量如下:

图片.png

按照产量计算每个人的边际贡献度:

图片.png

得到每人的平均贡献度:

图片.png

3/代码应用(以xgboost模型为例子)

<1>导入包,及训练模型

# 导包
import pandas as pd
import numpy as np
import warnings
warnings.filterwarnings('ignore')
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_curve,roc_auc_score
import xgboost as xgb
import matplotlib.pyplot as plt
 
# 训练模型
train = df_train.head(10000)
test = df_train.tail(5000)
 
dtrain = xgb.DMatrix(train[col_list], label = train['isDefault'])
dtest = xgb.DMatrix(test[col_list], label = test['isDefault'])
 
params={
    'booster': 'gbtree',
    'objective': 'binary:logistic',
    'eval_metric': [ 'logloss','auc'],
    'gamma':10,
    'max_depth': 3}

# xgboost原生接口
xgb_model = xgb.train(params=params,
                  dtrain=dtrain,
                  verbose_eval=True,
                  evals=[(dtrain, "train"), (dtest, "valid")],
                  early_stopping_rounds=10,
                  num_boost_round = 30
                  )

<2>Shap包导入及shap_value计算

import shap
shap.initjs() 
# 加载js,否则会报错Visualization omitted, Javascript library not loaded!

explainer = shap.Explainer(xgb_model)  # 对模型
shap_values = explainer.shap_values(train[col_list])
shap_values2 = explainer(train[col_list])
shap_values2

4/局部可解释性

对单个样本的预测结果解释,通过shap值展示出各特征值对当前预测结果的贡献度,
可以使用shap值top变量给出该条样本最终被拒绝的原因

<1>力图

shap.plots.force(shap_values[0])
此处第一条样本的实际预测结果为0.3338,在力图及下面瀑布图中显示的结果-0.69与预测概率为logit的关系,两者保持单调;图中红色条框为正向影响、蓝色条框为负向的变量,下方均为相应变量以及变量值,其中interestRate的正向贡献度最大。

图片.png

图片.png

<2> 瀑布图

shapley_value(train[col_list].head(1),model,max_display=10)

图片.png

瀑布图中给出了基准线E[f(x)] = -1.445,对应的预测概率计算方式为取反logit:p=1-1/(math.exp(-1.445)+1)=0.19为平均预测概率,此处interestRate贡献度为0.74。
瀑布图更加直观地展示出模型对于单个样本预测结果的解释,该样本的预测结果0.3338,结合下图的散点图(interestRate与y标签保持正向相关性)可以给出解释:由于该样本的interestRate值偏高,导致预测概率偏高。

<3>散点图-依赖图

shap.plots.scatter(shap_values2[:,"interestRate"])

图片.png

散点图可以大致看到interestRate特征与shap值是正相关关系,即其他特征稳定的条件下,interestRate特征值越大、shap值越大、对应的最终预测概率越高。
shap.dependence_plot('interestRate', shap_values2.values, train[col_list])

图片.png

5/全局可解释性

<1>蜂窝图

   shap.plots.beeswarm(shap_values2)

图片.png

为了了解哪些特征对模型最重要,我们可以绘制每个样本的每个特征的 SHAP 值。
蜂窝图按照所有样本的 SHAP 值之和对特征进行降序排序(即特征重要性降序排序),并使用 SHAP 值显示每个特征对模型输出结果的影响分布。颜色代表特征值(红色代表特征值高,蓝色代表特征值低)。
此处,红色方向在右边代表特征对模型预测结果的影响为正向的,反之为逆向的。

<2>平均shap值的条形图

shap.plots.bar(shap_values2)

图片.png

此处取每个特征 SHAP 值的平均绝对值来获得标准条形图,效果类似于feature_importance的条形图,可以通过设置参数来显示多个特征shap值,其他特征的总shap值会放在最后一条。