其他分享
首页 > 其他分享> > 《风控模型—区分度评估指标(KS)深入理解应用》

《风控模型—区分度评估指标(KS)深入理解应用》

作者:互联网

 

需要指出的是,KS是在放贷样本上评估的,放贷样本相对于全量申贷样本永远是有偏的。如果风控系统处于裸奔状态(相当于不生效,随机拒绝),那么这个偏差就会很小;反之,如果风控系统做得越好,偏差就会越大。因此,KS不仅仅只是一个数值指标,其背后蕴藏着很多原因,值得我们结合业务去认真分析。

当KS不佳时,为了达到KS的预期目标,我们可以从哪些方面着手去优化呢?一般建议如下:

  1. 检验入模变量是否已经被策略使用,使用重复变量会导致区分度不高
  2. 检验训练样本与验证样本之间的客群差异是否变化明显?样本永远是统计学习中的重要部分。
  3. 开发对目标场景更具针对性的新特征。比如,识别长期信用风险,就使用一些强金融属性变量;识别欺诈风险,就使用一些短期负面变量
  4. 分群建模或分群测算。分群需要考虑稳定性和差异性
  5. bad case分析,提取特征。

 

风控模型—区分度评估指标(KS)深入理解应用

 

风控业务背景

在风控中,我们常用KS指标来评估模型的区分度(discrimination)。这也是风控模型同学最为追求的指标之一。那么,有多少人真正理解KS背后的内涵?本文将从区分度的概念、KS的计算方法、业务指导意义、几何解释、数学思想等多个维度展开分析,以期对KS指标有更为深入的理解认知。

目录
Part 1. 直观理解区分度的概念
Part 2. KS统计量的定义
Part 3. KS的计算过程及业务分析
Part 4. 风控中选用KS指标的原因分析
Part 5. ROC曲线的几何绘制及理解
Part 6. 从几何角度解释KS与ROC的关系
Part 7. KS检验的理解应用
Part 8. KS的计算代码(Python)
版权声明©️
参考资料

Part 1. 直观理解区分度的概念

在探索性数据分析(EDA)中,若想大致判断自变量x对于因变量y有没有区分度,我们常会分正负样本群体来观察该变量的分布差异,如图1所示。那么,如何判断自变量是有用的?直观理解,如果这两个分布的重叠部分越小,代表正负样本的差异性越大,自变量就能把正负样本更好地区分开。

打个比方,想象这个变量就是一双手,把这两个分布往两边拉开。这双手的力量越大,两个概率分布间隔就越远,说明变量区分性就越好。

图 1 - 正负样本变量分布差异对比

Part 2. KS统计量的定义

KS(Kolmogorov-Smirnov)统计量由两位苏联数学家A.N. Kolmogorov和N.V. Smirnov提出。在风控中,KS常用于评估模型区分度。区分度越大,说明模型的风险排序能力(ranking ability)越强。

KS统计量是基于经验累积分布函数(Empirical Cumulative Distribution Function,ECDF)
建立的,一般定义为:

[公式]

Part 3. KS的计算过程及业务分析

很多博客文章告诉我们,计算KS的常见方法是这样的:

为帮助大家理解,现以具体数据(非业务数据)展示这一过程,如图2所示。其中,total是每个分数区间里的样本量,total_rate为样本量占比;bad代表逾期,bad_rate为每个分数区间里的坏样本占比。

图 2 - KS计算过程表

那么,分析这张表我们可以得到哪些信息呢?

  1. 模型分数越高,逾期率越低,代表是信用评分。因此,低分段bad rate相对于高分段更高, cum_bad_rate曲线增长速率会比cum_good_rate更快,cum_bad_rate曲线在cum_good_rate上方。
  2. 每个分箱里的样本数基本相同,说明是等频分箱。分箱时需要考虑样本量是否满足统计意义。
  3. 若我们设定策略cutoff为0.65(低于这个值的用户预测为bad,将会被拒绝),查表可知低于cutoff的cum_bad_rate为82.75%,那么将拒绝约82.75%的坏账户。
  4. 根据bad_rate变化趋势,模型的排序性很好。如果是A卡(信用评分),那么对排序性要求就比较高,因为需要根据风险等级对用户风险定价
  5. 模型的KS达到53.1%,区分度很强。这是设定cutoff为0.65时达到的最理想状态。实际中由于需权衡通过率与坏账率之间的关系,一般不会设置在理想值。因此,KS统计量是好坏距离或区分度的上限
  6. 通常情况下,模型KS很少能达到52%,因此需要检验模型是否发生过拟合,或者数据信息泄漏 。

KS值的取值范围是[0,1],一般习惯乘以100%。通常来说,KS越大,表明正负样本区分程度越好。KS的业务评价标准如图3所示。由于理解因人而异,不一定完全合理,仅供参考。

图 3 - KS的评价标准(供参考)

需要指出的是,KS是在放贷样本上评估的,放贷样本相对于全量申贷样本永远是有偏的。如果风控系统处于裸奔状态(相当于不生效,随机拒绝),那么这个偏差就会很小;反之,如果风控系统做得越好,偏差就会越大。因此,KS不仅仅只是一个数值指标,其背后蕴藏着很多原因,值得我们结合业务去认真分析。

当KS不佳时,为了达到KS的预期目标,我们可以从哪些方面着手去优化呢?一般建议如下:

  1. 检验入模变量是否已经被策略使用,使用重复变量会导致区分度不高
  2. 检验训练样本与验证样本之间的客群差异是否变化明显?样本永远是统计学习中的重要部分。
  3. 开发对目标场景更具针对性的新特征。比如,识别长期信用风险,就使用一些强金融属性变量;识别欺诈风险,就使用一些短期负面变量
  4. 分群建模或分群测算。分群需要考虑稳定性和差异性
  5. bad case分析,提取特征。

若将表2数据可视化,就可以得到我们平时常见的KS曲线图(也叫鱼眼图 ),其中横坐标为模型概率分数(0~1),纵坐标为百分比(0~100%)。红色曲线代表累计坏账户占比,绿色曲线代表累计好账户占比,蓝色曲线代表KS曲线。

图 4 - KS曲线

至此,我们已经基本了解KS的计算流程、评价标准、业务指导意义和优化思路。接下来,再给大家留下几个思考题 :

  1. 为什么风控中常用KS指标来评价模型效果,而不用准确率、召回率等?
  2. 最大KS值只是一个宏观结果,那么在不同cutoff内取到max时,模型性能有什么差异?
  3. 一般情况下,KS越大越好,但为什么通常认为高于75%时就不可靠?

Part 4. 风控中选用KS指标的原因分析

风控建模时,我们常把样本标签分为GBIX四类,其中:G = Good(好人,标记为0),B = Bad(坏人,标记为1),I = Indeterminate (不定,未进入表现期),X = Exclusion(排斥,异常样本)。

需要指出的是,Good和Bad之间的定义往往是模糊、连续的,依赖于实际业务需求。这里举两个例子或许能帮助大家理解:

例1:模糊性
对于12期信贷产品,如果设定表现期为前6期,S6D15(前6期中任意一期逾期超过15天)就是1,否则为0;但是后来如果把表现期调整为前3期,那么对于“前3期都正常还款,但4~6期才发生逾期并超过15天“的这部分样本而言,原本所定义的label就从1就变成0了。
因此,业务需求的不同,导致标签定义不是绝对的。

例2:连续性
定义首期逾期超过30天为1,否则为0。但是,逾期29天和逾期31天的用户之间其实并没有不可跨越的硬间隔,逾期29天的用户可能会进一步恶化为逾期31天。
由于逾期的严重程度定义本身就带有一定的主观性,我们很难说逾期天数差几天有多少本质的差异,所以哪怕我们为了转化为分类问题做了硬性的1和0的界限定义,但在业务上理解还是一个连续问题。

因此在风控中,y的定义并不是非黑即白(离散型),而用概率分布(连续型)来衡量或许更合理。

我们通常用概率分布来描述这种模糊的软间隔概念,也倾向于使用LR这种概率模型,而不是SVM这种以边界距离作为优化目标的模型。

那为什么选择KS指标呢?——KS指标倾向于从概率角度衡量正负样本分布之间的差异。正是因为正负样本之间的模糊性和连续性,所以KS也是一条连续曲线。但最终为什么取一个最大值,主要原因是提取KS曲线中的一个显著特征,从而便于相互比较。

Part 5. ROC曲线的几何绘制及理解

在风控场景中,样本不均衡问题非常普遍,一般正负样本比都能达到1:100甚至更低。此时,评估模型的准确率是不可靠的。因为只要全部预测为负样本,就能达到很高的准确率。例如,如果数据集中有95个猫和5个狗,分类器会简单的将其都分为猫,此时准确率是95%。

因此,我们更倾向于用混淆矩阵来评估模型分类效果。

图 5 - 混淆矩阵
真阳率:[公式] ——抓对了
假阳率:[公式]——抓错了

为简化考虑,我们的风控系统只有一个信用评分模型,那么高于分数阈值就预测为good,反之为bad,予以拒绝。我们一般追求更高的TPR,也就是"抓对了";以及更低的FPR,也就是"抓错了"。抓对了和抓错了——是在模型决策的一念之间(不同的分数阈值),因此我们会设置不同的阈值来观察这种变化规律。

在建立混淆矩阵的概念后,接下来介绍ROC曲线的绘制方法(后面将会以ROC曲线来辅助我们理解KS曲线)。

图 6 - TPR曲线绘制过程 图 7 - ROC曲线

我们该如何理解ROC曲线?

  1. 如果模型没有任何排序性,那么正样本在每个分数区间上均匀分布。此时,无论如何设置阈值,[0,阈值]这个分数区间内TPR将与区间长度成正比关系,所以就是对角线。
  2. 如果希望TPR尽可能高,FPR尽可能低,我们可以设计一个目标函数,这与KS的定义完全相同。

[公式]

Part 6. 从几何角度解释KS与ROC的关系

为了更加直观展示KS和ROC曲线的关系,我们将添加以下辅助线,从而得到图8,其中包含4张子图。

图 8 - 左上—TPR,右上—ROC,左下—KS,右下—FPR

在添加辅助线后,可以得到以下关键数据点的坐标信息:

为什么要在R点加上一条切线? 这是因为KS = |TPR - FPR|,如果添加辅助线TPR = FPR + KS,那么这条直线的截距就是KS值。当与ROC曲线相切时,截距最大,也就对应max_ks。

从几何意义上,KS曲线和ROC曲线的映射关系如下:

另外可以从图中得出这些信息:

  1. 若希望KS尽可能大,那么R需要尽可能接近(0,1),此时AUC一般也会增大。
  2. 对于相同的KS值,在KS曲线上有两个选择,但TPR和FPR同时大或同时小。虽然我们的目的通常是抓对更多的坏人(TPR⬆),尽可能减少错抓的好人(FPR⬇),但两者需要trade-off。到底选择哪个阈值,取决于业务目标:是希望对bad有更高的召回,还是对good有更低的误伤?
  3. 由于KS只是在一个最大分隔点时的值,并不够全面。通常我们也会同时参考KS和AUC(或Gini)

在理解KS和ROC曲线的关系后,我们也就更容易理解——为什么通常认为KS在高于75%时就不可靠?我们可以想象,如果KS达到80%以上,此时ROC曲线就会变得很畸形,如图9所示。

另一个更重要的可能原因是,为了便于制定策略,模型评分在放贷样本上一般要求服从正态分布。如果出现这种明显的双峰分布,就不太符合业务sense。( 值得一起探讨)

图 9 - 不同分布下的ROC曲线

Part 7. KS检验的理解应用

KS检验(Kolmogorov-Smirnov Test)是一种根据样本来推断总体是否服从某种分布的方法,因此也可以用来检验两个经验分布是否服从同一总体分布。

我们可以定义以下假设检验命题:

如果得到的p-value比指定的显著水平(假设为5%)小,那么我们就可以拒绝原假设,认为两个分布不服从同一总体分布。

Part 8. KS的计算代码(Python)

def ks_compute(proba_arr, target_arr):
    '''
    ----------------------------------------------------------------------
    功能:利用scipy库函数计算ks指标
    ----------------------------------------------------------------------
    :param proba_arr:  numpy array of shape (1,), 预测为1的概率.
    :param target_arr: numpy array of shape (1,), 取值为0或1.
    ----------------------------------------------------------------------
    :return ks_value: float, ks score estimation
    ----------------------------------------------------------------------
    示例:
    >>> ks_compute(proba_arr=df['score'], target_arr=df[target])
    >>> 0.5262199213881699
    ----------------------------------------------------------------------
    '''
    from scipy.stats import ks_2samp
    get_ks = lambda proba_arr, target_arr: ks_2samp(proba_arr[target_arr == 1], \
                                           proba_arr[target_arr == 0]).statistic
    ks_value = get_ks(proba_arr, target_arr)
    return ks_value
<style></style> <style></style> <style></style>

标签:样本,ROC,曲线,风控,KS,rate,Part,区分度
来源: https://www.cnblogs.com/cx2016/p/12813768.html