电商社交数据在大数据风控的应用实践

简介:

随着普惠金融业务的深入,以及消费金融业务竞争的白热化,针对信用白户的风控显得尤为重要。如何面向信用白户进行快速有效的信用评级,卧龙大数据根据自己的实践经验,就电商、社交数据在风控上的应用价值与大家进行一些分享。

大数据

电商社交数据的数据覆盖度

卧龙和众多不同类型金融机构进行了数据匹配测试,下图为各类金融机构的互联网行为数据整体匹配情况。

大数据

可以看出:

传统的农商行主要面对线下人群,线上数据的匹配率很低,要利用电商社交数据做信用评估基本不可行,利用大数据引流获客倒是一个值得关注的方向;

对于大型股份制银行以及消费金融公司特别是网贷平台,数据匹配率可以达到50%及以上,具有较大的大数据风控分析潜力。

电商社交数据的反欺诈应用

基于电商和社交数据,我们依照传统的反欺诈和信用评估两个方向进行分析体系构建,也得到了一些很有意思的分析结论:

(1) 电商数据反欺诈

总所周知,在某宝平台,上至豪宅别墅下至铁钉牙签,尤其是各种线下服务,除了吸毒犯罪,几乎没有不能卖的,正是这种特性给了我们很大的分析空间。

下面是我们获取到的一批典型案例:

大数据

根据我们对一批用户的互联网行为特征进行跟踪,发现了一些很有趣的特征。建模分析过程如图所示:

大数据

对于其中发现的一批关键词,我们进行term weight分析,聚类如下图所示所示:

大数据

经过对近十万逾期和欺诈用户的百万条互联网行为记录进行分析,按关键词不同可以分为三个客群:

1、老赖客群:

典型的诸如让银行头疼的老赖、资产纠纷用户会关联到法律纠纷等关键词;

2、多头借贷:

这些用户会关联到新口子、套现、京东白条、蚂蚁花呗、苏宁金融等关键词 ,通过薅羊毛的手法走各种新平台,拆东墙补西墙;

3、黑产中介:

这些用户则会关联到周卡、零配件设备号等关键词。从黑产中介的跟踪情况看,当前黑产已经形成一条极度隐蔽而且设备高度自动化的产业链。

利用这批关键词,结合业务知识以及机器学习算法挖掘,我们找到上千个异常关键词,几十万量级的黑产商品,并通过商品关联到百万量级异常用户。同时我们发现,某宝也在极力打压黑产异常商品,我们分析的商品,部分在某宝上面会不定时消失,所以这批异常数据基本属于卧龙所独有。

这批数据通过分析发现很多并不在传统的多头借贷、网贷黑名单数据库当中,可以作为黑名单库的一个补充,同时在几家合作公司测试也得到良好反馈。

(2)社交数据反欺诈

社交领域数据是另外一个比较有趣的话题,除了直接关注贷款类、涉黑类话题的用户,我们通过图数据库、PageRank算法等社交分析工具找到一批刷单刷帖用户。

具体过程如下:

大数据

这中间最有意思的就是号码的重叠度,现有公布的的黑产名单与我们分析的社交刷单刷帖灰名单用户有极大的重叠度,结论就是:物尽其用!实名制的普及带来的是号码资源稀缺,最大化价值利用是黑产平台的主要特点,这也给我们基于大数据的反欺诈提供了线索。

电商社交数据在风控建模的应用

信用评估一直是金融领域的重中之重。在介绍卧龙电商和社交数据的信用评估领域应用时,先普及几个基本知识。

(1) 模型评估维度

大数据

(2) 模型特征

大数据

业务经验法的例子包括根据品牌商品占比、主动评论占比、用户购物类目的分布占比情况等特征进行分析。一般购物类目分布越广,说明这个用户线上消费越强,刷单用户的可能性也就越低。

机器学习法的经典案例就是使用PageRank计算微博用户的影响力,一般PageRank值越大,影响力越高,用户失信的可能性也就越小。另外比如使用标签扩散法,通过黑名单库计算相应的用户灰名单概率权重特征。这些特征IV值(即Information Value,信息价值)一般都在0.1以上。下图为PageRank分段值在大额借贷和小额借贷中违约率中的关系。

大数据

PageRank得分不是越高风险越小,还需要根据其贷款产品进行区分,大额贷款(5万以上),越是高分用户,逾期违约可能性越大;小额贷款(5万及以下)则刚好相反。

通过业务经验以及机器学习方法,考虑购物品类的情况下,我们总共构造了3万多个指标,下图为我们筛选指标的一般流程:

大数据

下图为特征在样本中的空置率表现。可以看出很大一部分特征都有缺失,这是互联网数据的一大特点,也是目前最大的挑战。我们通过一定的阈值过滤掉部分特别稀疏的特征。

大数据

下图为我们挑选的50个特征IV值分布情况。相比银行信用卡等特征会偏弱一点(我们测试基于银行信用卡流水构造的特征,通常IV值能到0.4左右),但也是不可多得的良好特征变量。

大数据

在有效特征中数码配件、手机配件、零食、男女内衣类目等类目特征IV值较高。这种不对外显露的类目,能很好的区分一个人的消费水平。

(3)模型算法

传统的评分卡一般采用逻辑回归,因为这类模型可解释性强,便于沟通交流以及上级部门的监管。但我们采用的是可解释性虽然一般,但性能更强、效果更好的决策树模型。

模型架构图:

大数据

KS值:

大数据

通过电商以及社交数据,模型的KS值达到0.28,再加上传统贷款的申请表里的用户基本信息、资产信息授权信息,最终的建模KS效果达到0.36。

总结

1.电商社交数据适合线上行为活跃的群体,尤其是适合有场景用户,比如3C数码、医美、教育等消费分期领域。对线上行为特别稀疏的传统的线下人群,要利用电商社交数据做征信评估基本不可行。

2.特征不是越多越好,低值的特征多了反而降低模型整体的效果。并且特征越多,模型的可解释性分析困难越大,所以优质特征的筛选必不可少。

3.电商和社交数据用来做信用评估建模的效果不错,但是达不到直接使用的效果,因此电商和社交数据需要和其他数据配合使用,才能发挥最大的价值。

4.电商和社交数据在反欺诈领域的应用来得比信用评估更直接。卧龙识别出的异常购物记录和敏感行为用户坏账率比正常客户要高4.7倍。


本文作者:佚名

来源:51CTO

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
21天前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
1月前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
1月前
|
存储 消息中间件 大数据
Go语言在大数据处理中的实际应用与案例分析
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理中的实际应用,通过案例分析展示了Go语言在处理大数据时的优势和实践效果。文章首先介绍了大数据处理的挑战与需求,然后详细分析了Go语言在大数据处理中的适用性和核心技术,最后通过具体案例展示了Go语言在大数据处理中的实际应用。
|
1月前
|
数据采集 运维 数据挖掘
API电商接口大数据分析与数据挖掘 (商品详情店铺)
API接口、数据分析以及数据挖掘在商品详情和店铺相关的应用中,各自扮演着重要的角色。以下是关于它们各自的功能以及如何在商品详情和店铺分析中协同工作的简要说明。
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
718 2
|
1月前
|
数据采集 分布式计算 大数据
Java语言在大数据处理中的应用
传统的大数据处理往往依赖于庞大的数据中心和高性能的服务器,然而随着大数据时代的到来,Java作为一种强大的编程语言正在被广泛应用于大数据处理领域。本文将探讨Java语言在大数据处理中的优势和应用,以及其在分布式计算、数据处理和系统集成等方面的重要作用。
|
1月前
|
存储 大数据 数据挖掘
云计算与大数据:从基础设施到实际应用
云计算与大数据:从基础设施到实际应用
134 0
|
11天前
|
数据采集 搜索推荐 大数据
大数据中的人为数据
【4月更文挑战第11天】人为数据,源于人类活动,如在线行为和社交互动,是大数据的关键部分,用于理解人类行为、预测趋势和策略制定。数据具多样性、实时性和动态性,广泛应用于市场营销和社交媒体分析。然而,数据真实性、用户隐私和处理复杂性构成挑战。解决策略包括数据质量控制、采用先进技术、强化数据安全和培养专业人才,以充分发挥其潜力。
14 3

热门文章

最新文章