开发者学堂课程【场景实践 - 机器学习-信用风险评估评分卡建模方法及原理：信用风险评估评分卡建模方法及原理】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/443/detail/5451
信用风险评估评分卡建模方法及原理
目录：
一、什么是评分卡
二、评分卡的重要组成部分
三、PAI 建模流程
四、分箱
五、评分卡模型概览
六、评分卡训练-分数 Scaling
七、评分卡训练 -Stepwise 变量选择
八、最大似然估计分析表
九、模型拟合统计量
十、评分卡分群
十一、变量约束条件
十二、其他模型评估指标
十三、样本稳定指数（PSI）
一、什么是评分卡？
评分卡是信用风险评估领域常用的建模方法。
评分卡并不简单对应于某一种机器学习算法，而是一种通用的建模框架，将原始数据通过分箱后进行特征工程变换，继而应用于线性模型进行建模的一种方法。最后我们还会对此评估。
评分卡不仅可以在信用风险评估领域应用，还会在其他领域使用。
例如：在芝麻信场景里面可能评分卡对一些用户的评分；在微贷可以对客户的风险进行评分；在客服领域会对客服质量做打分；在交通管理邻域会对驾驶员的综合素质进行打分；其实评分卡是一个建模的套件。
二、评分卡的重要组成部分
分箱：等频（根据特征的原始数据进行排序之后根据分位点切出来 n 个分箱）、等宽（按照数据的值域分为 n 个分箱）、自动（是一种动态规划的算法，通过他的分箱结果，保证每个 WOE 值有一个单调项的趋势）
特征工程：
（在分箱结束后，我们会用分箱的结果对原始的数据做一个特征工程，这是两个方面）
（1）离散化：将一个特征通过分箱结果把他理想化为 n 个特征
（2）WOE：应运特征在某一个分箱 WOE 值来替换特征原有的原始值
（这些数据会应运到线性模型内这就是模型的训练了）
3、线性模型：
（1）逻辑回归：使用较多
（2）线性回归
整个训练完成后会对训练数据或者预测数据进行评估预测、打分，打分后会使用一个评估组卷，对打分结果进行评估，看一下模型的性能。评估组件支持许多评估指标，包括AUC、K-S、Lift Chart、Gain Char
4、评估：AUC/K-S/Lift Chart/Gain Chart...
三、PAI 建模流程
首先我们用一个数据输入的节点，把这个的节点输出到拆分组件，把原始的数据拆分成两个数据集，一个是训练集，一个是测试集。接下来再把训练集接到分箱的组件内，对它进行分箱。
分箱完成后会把原始数据和分箱完成后的数据，分箱的结果记录到评分卡的训练里面去。评分卡的训练组件会做特征工程，然后去做训练。
现在举三个例子：
1、离散化评分卡训练,训练完成后会对评分卡进行预测、打分，之后进行二分类的评估。
2、WOE 评分卡训练
3、stepwise WOE
四、分箱
在运行完成之后点击在组件上点击右键在弹出的菜单内选择我要分箱即可看到变量的分箱列表。
点进其中的一个列表就可以看到变量分箱的详细信息。包含右侧的统计信息（和具体的分箱逻辑没有关系，他是对分箱完成以后，在分箱的基础上进行统计，包括每一个分箱有多少个样本，给用户做参考）；左侧的是分箱的相关的重要信息，每一个箱的值域是多少；中间还有一些相关的图表。
这个页面可以对分箱做灵活的操作，比如说自动分箱分完后，可以给用户提供丰富的调整策略，包括分箱的合并，分箱的拆分，还有一些灵活的自定义分箱。
点击分箱上面的图表，可以看到表量在每一个分箱内数据分布的情况，包括WOE的曲线等等
五、评分卡模型概览
当训练完成后会产出评分卡模型，在模型的组件上点击右键，
点击查看模型报告，就可以看到上面这个键面。
上面的图包含整个模型卡的信息：
最右边红色的方框，与模型无关的统计信息。是单纯的统
计信息，与模型训练没有关系。右边的框是方便用户对比看
训练集和测试集的趋势是否一致，分布是否一致。
中间黑色的方框与模型相关，第一列是原始权重，也就是参数的权重；比如说用逻辑回归完成之后每一个变量对应一个 wait 这个 wait 就是 unscathed，没有做过任何处理的。右面的一列是通过一条标准线把一个浮点数转化成一个整数，整数可能实际对应到评分卡内的分数，对某一用户的加分减分。
最上面的截距项在评分卡训练中加了一些内在的约束。后面有些 WOE 的值、 MC。
左面的红色框是一个约束的信息，某一个变量大于另外一个变量，对应到评分卡就是这一个加分大于另一个，会有一个业务上的需求。
4、在最左侧是包括了一些变量的基本信息，变量的列表、分箱等等。
六、评分卡训练-分数 Scaling
1、为什么需要 scaling weight？
在平时输出的分数可能是一个很小的负点数，对于用户来说没有直观意义，我们需要把他转化为一个分数，对应到某一个场景内，他们能够理解的分数。
例如：芝麻信用分（出来的可能是一个概率，需要把概率转换成能够理解的分数）
2、三个参数（三个参数确定三条标准线，两个点可以确定一条直线，那这两个点是通过三个参数来确定的，三个参数分别是什么呢？）：
（1）给定参数的基准点，指定风险值.在训练过程中通过指定 Scaling 信息将模型weight 转换成整形的分数。
（2）odds 在给定的分数基准点处的 odds 值
（3）pdo(Point Double Odds)分数送了多少分，odds 会加倍。
公式：
Log(odds)=log(
)=
=a·score+b （a 是 unscaled weight;b 是scaled weight）
a =
b =log(odds)-a×scaled_value
如 : {"scaledValue":800, odds" :40, pdo:28}
七、评分卡训练-Stepwise 变量选择
变量选择的标准为 Marginal Contribution，某变量的 MC
定义为将该变量放入模型目标函数值所产生的变化。
1、最大步长
2、选中变量的 MC 阈值
3、移除变量的 MC 阈值
4、并行度（值越大，辨识度越高）这个特征选择与其他略有不同，scar 是统计分析软件，更多专注于统计领域的指标。MC 更偏向学习领域的指标。
八、最大似然估计分析表
最大似然分析和相关的统计有相似之处，许多软件在统计完之后会输出统计信息，这个表内有一些估计值，参数值，标准物，估计的误差等等。
九、模型拟合统计量
可以查看模型最终拟合的程度，其实是一些值的相关变化，和一些常用的指标AIC,SC 等等。
AIC=-2log(L)+2r
SC=-2log(L)+r log(n)
十、评分卡分群
1、（并不是评分卡的重要组成部分，是一个高级的功能。）
（1）决策树与评分卡的结合
（2）自动搜索对整体人群性能带来提升的分群分裂点
（3）决策树的每个叶子节点上构建一个评分卡模型
（4）可选择用于评测整体人群性能的指标(AUC/KS)（目的十分直接）
评分卡与决策树的一些性质相似。约束条件、叶子节点最大样本数。
右面的图是评分卡建模的流程，先通过分箱，接一个评分卡的分群和评分卡的训练是类似的。
再接一个预测组件最后对人群做一个评估，打分。在打分的结果做一个二分类的评估，做一个性能的评估。
2、下面的图就是一个评分卡分群的一个结果图，在评分卡分群运行完成后，在这个组件上点击右键，点查看模型报告。
这是一个决策树，从根节点到叶子节点就是一个决策树的规则路径，走到这个路径就是符合这个规则的人群，现在图中有8个节点，每个叶子节点都分别对应了一个小的评分卡模型，点击叶子节点就会看到一个评分卡模型。
十一、变量约束条件
1、为什么需要对变量施加约束？
2、在哪里可以对变量施加约束？
3、可以对变量施加什么样的约束？
4、变量约束在算法层面如何实现？
为什么需要对变量施加约束？
约束一般是为了满足在金融场景里面对强解释性的需求，比如说下面的图:当用户在某一个数据分箱完了之后，可能会出现 n 个箱，都会有 woe 值，会有一个 woe 的趋势图。
对于在训练过程而言，训练过程中变量和变量之间有一些细微的相关性，会导致训练出来的模型内，并不能满足模型的 weight 也符合这个趋势，这样会对解释性造成很大的困扰。WOE 大的分箱反而分数会低，这样对解释性不太友好，因此最好两个趋势一致。
还有一些情况可能会有相关业务上的强制性的一些要求。
变量约束只是针对于理想化情景而言的，约束是施加在每一个变量的分箱上的。如果选择的不是理想化的功能，选择其他的，就没有变量约束这件事了。
离散化、可解释性、特殊业务需求
在哪里可以对变量施加约束？
分箱列表中间会有一个 constraint，选择对一个变量世施加什么样的约束。
右侧提供约束的自动化设置方法。
分箱组件->右键“我要分箱”
分箱变量会自动保存
变量约束在算法层面如何实现？
1、变量约束通过带优化的优化算法来实现
2、PAI评分卡支持多种优化算法
3、无约束优化算法：Newton’s Method（牛顿法，适合小规模，速度快）/L-BFGS（开销低，规模大，广告搜索）
4、有约束优化算法：Barrier Method/SQP(Active Set Method)不施加约束时与牛顿法等价。
十二、其他模型评估指标
目前PAI平台支持ROC曲线/KS曲线/Lift曲线/Gain曲
线/Precision Recall曲线，参考组件“二分类评估”。可以看到每一个曲线的详细信息；另外也可以做分组评估，数据表内可能有很多个分组，对每一个分组可以计算相关的指标。
在对模型训练完之后，对模型做一个预测打分，对打分结果会做一个二分类的评估。
十三、样本稳定指数（PSI）
模型在这次部署以及上次部署是否同样稳定，我们可能希望分布变化不要太大，通常情况下，会用表格做分布图，直观的看分布，这种方法不能量化，不能自动化的监控，所以我们会检测PSI指标。
样本稳定指数是在分险评分中经常使用的用于评估样本分
布稳定度的指标。
