《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(2) https://developer.aliyun.com/article/1228200
2. 实时特征
特征工程主要服务于金融风控场景,比如决策引擎、反欺诈、风控模型服务等。特征工程主要的目的是将原始数据转换为更好的表述问题本质的过程。使用这些特征可以提高我们对一些不可见事物预测的精度,金融业务场景就是使用这个特征来提高对用户风险的识别能力。
特征工程是整个数据挖掘模型里最耗时也最重要的一步,它为金融业务全流程的风控提供了核心的数据支撑,主要分为三个部分:
首先是特征挖掘,主要由风控策略和模型开发的团队来完成,他们会根据业务指标进行数据的分析处理,然后再提取出有效的合规的特征;
当特征挖掘出来之后会给到开发团队,特征开发团队根据这个特征的来源会对接不同的数据源,有些是来自三方的,有些是离线加工出来的,还有实时加工的,当然还有一些机器学习模型进行再次加工计算出来的特征;
开发好的特征会通过特征中台提供给线上的业务使用,同时也要保障整个特征链路的稳定性。
特征工程目前使用的 Flink 实时任务有一百个以上,产生了一万个以上的特征数量,每天会有 3000 万以上的特征调用。
金融风控特征的核心指标,最重要的是合规。所有的特征都是居于合规之上,之外还需要保证特征加工的准确性、特征数字的实时性、特征计算的快速响应,还有整个平台运行的高可用和稳定性。基于这样的指标要求,我们采用了 Flink 作为实时计算引擎,使用 HBase 和阿里云的 TableStore 作为高性能的存储引擎,然后通过微服务化的架构实现整体的服务化和平台化。
特征平台的架构图总体可以分为 5 大部分:
上游系统有前台系统、决策系统和保护系统;
业务方所有的请求都会经过特征网关,特征网关会根据特征的源数据进行链路编排,有些要调用三方数据,人行征信数据,还有一些来自数据集市的数据;
数据接入之后就会进入特征数据的加工层,里面有对三方数据的特征加工服务,也有对金融实时特征数据的计算;还有一些反欺诈的特征计算服务,其中包含关系图谱以及一些名单特征的服务;
有些基础的特征通过这一层加工之后,就可以提供给上游的业务系统使用了,还有一些需要经过特征组合服务进行再次加工。众安保险通过一个低代码编辑器来实现特征的组合服务和风控模型服务,通过机器学习平台来进行特征的重新加工;
基础服务层主要是做特征的后台管理和实时监控。实时特征需要依赖实时计算平台,离线特征依赖离线调度平台。
总结来说,特征平台是以微服务化构建的一个特征服务体系,通过接入三方数据、征信数据、内部数据、实时数据、离线数据进行特征加工和服务,组合成的一套特征计算的风控数据产品。
《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(4) https://developer.aliyun.com/article/1228197