我正在参加中秋创意投稿大赛，详情请看：中秋创意投稿大赛
对于一个放款机构来说，当自有数据不足以满足风控需求时，会引入外部的第三方数据来提升自己的风控水平，所以该如何评估新的数据源是否可用呢？本篇文章会围绕这个问题进行详细讲解，主要分为线下数据评估，线上数据测试，线上数据监控三个部分。
一. 线下数据评估
这里我会按线下数据评估的流程，结合自己平时的工作经验来写。
接入外部数据的目的
首先，外部的数据源可以大致分为四类：黑名单类，评分类，变量类，原始数据类
外部数据的接入一开始主要由商务跟第三方进行接洽沟通，所以风控人员应该把接入数据的目的传达给商务，商务才能根据目的找到合适的第三方数据公司。一般有以下几个目的：
- 用于优化现有的模型，一般会考虑接入变量类和原始数据类
- 用来设计策略，一般会接入黑名单类，评分类的数据
- 丰富用户画像的维度，这种数据能反映用户的某些属性，一般考虑原始数据类
2.提供线下测试样本
根据接入目的的不同，测试样本也会稍有差异，比如为了优化现有模型，就最好提供建模时所用的数据样本。但大致上测试样本需满足以下几点：
-
连续一段时间内的样本，可以评估数据的稳定性
-
最好是近段时间的样本，这样线下评估结果与线上实际效果差距不会太大
-
其他特殊条件，如覆盖不同的产品和客群
-
另外考虑到第三方那测试的成本，样本能测试的数量，能测试几次，这点需要商务那边去沟通好。
- 了解数据含义和构成
一般第三方会返回数据的详细产品报告，风控人员从中需要了解数据的底层逻辑和构成，了解数据背后的业务含义，这方面可以和第三方的人员进行不断的沟通。
4.数据分析评估
线下的数据评估一般会考量以下几个方面：
查得率，就是提供的样本在第三方那能命中多少用户 覆盖率，一般指的是特征的缺失概率 稀疏性，代表数据富含信息的程度 稳定性，一般计算时间序列上的PSI 有效性，好坏样本的区分程度，IV和KS比较常用，也可以把特征带入模型，评估对模型的提升效果 可解释性，数据的业务含义是否容易解释 与现有数据的共线性，一般用相关系数衡量 数据的接入成本，这个需要考虑到接入数据后，增加的利润能不能覆盖掉支出的数据成本 另外不同种类的数据源考量的东西也不一样： 黑名单类一般用在反欺诈环节，所以主要考虑到“命中率“和”准确率“，即命中的用户逾期概率比较高。 评分类一般用作策略和模型，主要考量“缺失率”，“稳定性”，“有效性”，如果评分的排序性好且IV比较高，则考虑入模，如果评分有明显的尾部极端优势，那适合做策略，用来拦截掉极端的坏用户。 变量类考量的东西和评分类差不多，但会考虑到变量和现有数据的共线性，以及在效果上的重叠性。 原始数据一般是爬虫类的数据，目前在监管趋严的情况下，数据的合规性是首先要考虑的，另外原始数据需要在特征衍生之后才能评估数据的价值。
二. 线上数据测试
因为线下评估用的数据是线上回溯的历史数据，而在实际情况中，线上与线下的数据存在一定差异，并且客群和市场环境也在不断变化，所以需要线上数据测试来评估外部数据在真实应用中的效果。笔者在工作中用到的主要是模拟测试和切分流量的AB-Test。
模拟线上测试
将接入的数据配置成策略，放在真实环境中“试运行”，记录每天的数据分布，通过率等指标，将线上与线下的结果进行比对是否一致。
- AB-Test
当策略试运行的结果还不错时，可以将一部分的流量(用户)切到新策略中，将现有策略和新策略进行比较，计算策略的通过率，准确率等。
三. 线上数据监控
当外部数据上线之后，需要有一套标准的数据监控体系，观察数据的变化，及时发现异常问题。监控的东西主要有接口的调用情况，数据的覆盖率，稳定性等。
解析参考链接： www.julyedu.com/video/play/… www.zhihu.com/people/yu-x…
