AB Test如何应用于风控场景?

简介: AB Test是一个很好的导航系统和说理工具,策略分析师在各个场景使用这种分析方法,可以形成一个完整的闭环;本文作者分享了关于AB Test如何应用于风控场景,我们一起来看一下。

一、A/B Test 概念

什么是AB Test?

1)我们先通过一张图来了解系统的概念,做一做铺垫:系统,就是将多个输入转化成输出的中间过程(图中的输入,也称为变量)。ps:有数学背景的同学,可以把系统理解成一个多元函数y=f(x1,x2,x3)。

2)然后基于系统图导出控制变量法

由于影响系统输出的输入变量有多个,如果我们需要考察其中某一个输入变量(比如输入1)对系统输出的影响时;我们需要在保持输入2和输入3不变的前提下,改变输入1,然后观察输出的变化,从而确定输入1对输出的影响;这就是控制变量法,核心是控制其他变量不变,排除其交叉影响,单独观察某一个变量对结果的影响。

3)再基于控制变量法引出对照组的概念

当我们保持输入2和输入3不变,单独改变输入1时,我们需要在样本中确定有多大比例的样本(不)需要改变输入1,由此按比例随机抽样、从而形成两个相互对比的样本(改变输入1的一般称为实验组,不改变输入1的称为对照组)。

4)最后回到我们的核心概念AB Test

AB test就是通过随机抽样设置对照组和实验组,A是对照组,B是实验组,AB两组占比由实际场景决定(任意一组的占比一般不能太低,要满足统计学意义),加起来是100%。

由于是随机抽样,AB两组一开始是完全相同的样本;然后,改变一个变量,使得B相对A来说只有一个变量不同,从而可以将该变量单独拎出来、观察它对输出结果的影响:

对照组方法,是科学研究中用途极广的方法,有着坚实的统计学理论支撑;产品部门经常用到对照组方法,产品部一般称为AB Test,这种叫法比较通用,为方便交流,本文采用此种叫法;风控部门也经常用到对照组方法,一般称为“冠军挑战者”。

二、A/B Test 适用场景

以下我们针对常用的几个场景,给出基于AB test的解决方案,给大家展示AB test在风控中的典型应用场景、应用方式及其效果,希望大家能够举一反三,在自己的工作中能用上。

AB test方法应用灵活、基于实际场景千变万化,也有一些需要避免的问题,整个AB test机制包括需求分析、机制设计、数据分析、策略调整等,是一个完整的闭环。

场景一:无法确定策略调整的效果,找不到策略调整的方向

问题剖析:评估策略效果的指标大家都很明确,而无法明确效果,究其原因,是因为影响风控指标的输入变量有多个,包括客群质量、时间、风险策略等;而策略只是其中的一个变量,调整策略变量的同时,其他变量可能同时发生改变,因此无法确切评估策略的调整对风控指标的影响。至于策略的调整方向,AB两套策略的差异点你是完全知道的,这个差异是造成最终逾期率不同的唯一原因,找到其中大头的差异点,就是本次调整的方向。

场景二:已经明确要调整的具体规则,目前有多个方案,无法确认哪个方案最优

问题剖析:已经知道要收紧的具体的规则了,但是有多种收紧方案,在策略流程上,是前紧,还是前松后紧,着实让人无法抉择;因为在风险策略人员的视野里,不仅仅只有通过率、逾期指标;还有征信成本、数据信息量等其它纬度的考量因素。

解决方案:直接对确定调整的规则进行A/B Test 即可。

总结一下,策略的AB test机制,是一个很好的导航系统和说理工具,作为导航系统,它让策略人员在调整策略的时候,知道自己的方向,因此明明白白;作为说理工具,它让策略人员在展示自身工作对全局影响的时候,听众心服口服。


天眼数聚api接口大全以大数据为基础,覆盖人脸身份核实、运营商、银行卡、车辆、医疗、智能识别等,为企业用户提供多维度、全方位的数据API服务;目前已服务近万家企业,涵盖了教育、游戏、电商、物流、金融、保险、支付、出行等数十个领域,同时公司在数据采集、模型算法、机器学习等领域具有较强的技术优势,所推出的基于业界领先算法模型的活体检测、人脸身份证识别接口等智能识别服务广受好评。

相关文章
|
2月前
|
传感器
BBC Brown Boveri 216AB61 HESG324013R100 / HESG216881 216DB61模块
BBC Brown Boveri 216AB61 HESG324013R100 / HESG216881 216DB61模块
|
1月前
1043 输出PATest (20 分)
1043 输出PATest (20 分)
|
7月前
|
数据库管理
GM(1,1)应用案例1
GM(1,1)应用案例1
|
Python
计算S=a+aa+…+aa…a
计算S=a+aa+…+aa…a
101 0
求Sn=a+aa+aaa+aaaa+aaaaa的前五项之和,其中,a是一个数字,如2+22+222+2222+22222
求Sn=a+aa+aaa+aaaa+aaaaa的前五项之和,其中,a是一个数字,如2+22+222+2222+22222
140 0
|
算法 Dubbo 测试技术
初探灰度发布系列--AB Test以及栗子
灰度发布分几种:蓝绿、ABTest以及金丝雀 灰度作用:为了减少灰度版本对生产环境的影响
476 0
初探灰度发布系列--AB Test以及栗子
|
JavaScript C# Windows
C# 通过StreamWriter输出的TXT流文件,前缀带EF BB BF
C# 通过StreamWriter输出的TXT流文件,前缀带EF BB BF
314 0
C# 通过StreamWriter输出的TXT流文件,前缀带EF BB BF
|
C语言 C++
1043 输出PATest (20 分)
给定一个长度不超过 104 的、仅由英文字母构成的字符串。请将字符重新调整顺序,按 PATestPATest.... 这样的顺序输出,并忽略其它字符。当然,六种字符的个数不一定是一样多的,若某种字符已经输出完,则余下的字符仍按 PATest 的顺序打印,直到所有字符都被输出。
79 0
|
DataWorks 搜索推荐 前端开发
召奴的大哉问系列:B2B 是否要做AB Test
AB Testing在软体工程领域是一个耳熟能详的词,大家都知道AB Test的重要性。当产品经理提出的需求不合里(太难做)时,程序员们心理总是os,你怎么知道客户到底要什么,不也是拍脑袋想的吗,这时候我们可能会提出另一种作法,并要求他(她)去做一个AB Test来验证哪一个作法更好。 但是,大家可能不知道,要做一个成功的AB Test实验,它背后的成本是非常巨大的。首先,你必须做许多的分析,了
988 0
召奴的大哉问系列:B2B 是否要做AB Test