参考网址

blog.csdn.net/a7303349/ar…

1/什么是shap value

shap value(shap值)衡量特征的边际贡献度，是当前模型解释的最佳方法之一，
对于模型进行可视化的全局解释、局部解释，可以在一定程度上满足业务对于模型解释性的要求。

全局解释，特征对于整体模型的影响，可以作为特征重要性帮助筛选变量；
局部解释，对单个样本的预测结果进行解释，可以直观地让我们看到单个样本预测结果的主要影响因素-特征有哪些、以及相应的影响程度，这样在风控业务中对于模型预测风险偏高的样本、我们可以给出模型认为他风险偏高的原因。

2/shap的本质原理

有甲、乙、丙三个工人，单人工作时、多人协同工作时每天的罐子产量如下：

按照产量计算每个人的边际贡献度：

得到每人的平均贡献度：

3/代码应用(以xgboost模型为例子)

<1>导入包，及训练模型

# 导包
import pandas as pd
import numpy as np
import warnings
warnings.filterwarnings('ignore')
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_curve,roc_auc_score
import xgboost as xgb
import matplotlib.pyplot as plt
 
# 训练模型
train = df_train.head(10000)
test = df_train.tail(5000)
 
dtrain = xgb.DMatrix(train[col_list], label = train['isDefault'])
dtest = xgb.DMatrix(test[col_list], label = test['isDefault'])
 
params={
    'booster': 'gbtree',
    'objective': 'binary:logistic',
    'eval_metric': [ 'logloss','auc'],
    'gamma':10,
    'max_depth': 3}

# xgboost原生接口
xgb_model = xgb.train(params=params,
                  dtrain=dtrain,
                  verbose_eval=True,
                  evals=[(dtrain, "train"), (dtest, "valid")],
                  early_stopping_rounds=10,
                  num_boost_round = 30
                  )

<2>Shap包导入及shap_value计算

import shap
shap.initjs() 
# 加载js，否则会报错Visualization omitted, Javascript library not loaded!

explainer = shap.Explainer(xgb_model)  # 对模型
shap_values = explainer.shap_values(train[col_list])
shap_values2 = explainer(train[col_list])
shap_values2

4/局部可解释性

对单个样本的预测结果解释，通过shap值展示出各特征值对当前预测结果的贡献度，
可以使用shap值top变量给出该条样本最终被拒绝的原因

<1>力图

shap.plots.force(shap_values[0])
此处第一条样本的实际预测结果为0.3338，在力图及下面瀑布图中显示的结果-0.69与预测概率为logit的关系，两者保持单调；图中红色条框为正向影响、蓝色条框为负向的变量，下方均为相应变量以及变量值，其中interestRate的正向贡献度最大。

<2> 瀑布图

shapley_value(train[col_list].head(1),model,max_display=10)

瀑布图中给出了基准线E[f(x)] = -1.445，对应的预测概率计算方式为取反logit：p=1-1/(math.exp(-1.445)+1)=0.19为平均预测概率，此处interestRate贡献度为0.74。
瀑布图更加直观地展示出模型对于单个样本预测结果的解释，该样本的预测结果0.3338，结合下图的散点图（interestRate与y标签保持正向相关性）可以给出解释：由于该样本的interestRate值偏高，导致预测概率偏高。

<3>散点图-依赖图

shap.plots.scatter(shap_values2[:,"interestRate"])

散点图可以大致看到interestRate特征与shap值是正相关关系，即其他特征稳定的条件下，interestRate特征值越大、shap值越大、对应的最终预测概率越高。

shap.dependence_plot('interestRate', shap_values2.values, train[col_list])

5/全局可解释性

<1>蜂窝图

   shap.plots.beeswarm(shap_values2)

为了了解哪些特征对模型最重要，我们可以绘制每个样本的每个特征的 SHAP 值。
蜂窝图按照所有样本的 SHAP 值之和对特征进行降序排序（即特征重要性降序排序），并使用 SHAP 值显示每个特征对模型输出结果的影响分布。颜色代表特征值（红色代表特征值高，蓝色代表特征值低）。
此处，红色方向在右边代表特征对模型预测结果的影响为正向的，反之为逆向的。

<2>平均shap值的条形图

shap.plots.bar(shap_values2)

此处取每个特征 SHAP 值的平均绝对值来获得标准条形图，效果类似于feature_importance的条形图，可以通过设置参数来显示多个特征shap值，其他特征的总shap值会放在最后一条。