《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(3) https://developer.aliyun.com/article/1228198
3. 反欺诈
上图是实时反欺诈特征应用的数据流图,它和金融实时特征服务的数据流图有些类似的一面,但也存在一些差异。这里的数据源除了会使用业务数据外,更关注的是用户行为数据和用户设备的数据。当然这些设备数据和行为数据都是在用户许可的前提下进行采集。
这些数据经过 Kafka之后,也会进入 Flink 进行处理。反欺诈的数据主要是用一个图数据库来存储用户关系数据,对于需要历史数据的复杂特征计算,我们会在 Flink 里面用 bitmap 作为状态存储,结合 timerService 进行数据清理,使用 Redis 进行特征计算结果存储。
GPS 的反欺诈特征是使用 TableStore 的多元索引和 lbs 函数的能力来进行位置识别的特征计算。反欺诈的关系图谱和关系社群会通过数据可视化的能力来提供给反欺诈人员进行个案调查。
我们把反欺诈特征归为 4 大类:
第一类是位置识别类型,主要是基于用户的位置信息,加上 GeoHash 的算法,实现位置集聚特征的数据计算。举个例子,我们通过位置集聚特征,发现了一些可疑用户,然后再通过反欺诈调查查看这些用户的人脸识别的照片,发现了他们的背景很相似,都是在同一家公司进行业务申请。所有我们就可以结合位置类的特征,加上图像识别的 AI 能力来更精准地定位类似的欺诈行为;
第二类是设备关联类,主要是通过关系图谱来实现。通过获取同一个设备的关联用户的情况,可以比较快速地定位到一些羊毛党和简单的欺诈行为;
第三类是图谱关系,比如用户的登录、注册、自用、授信等场景,我们会实时抓取用户在这些场景的一些设备指纹、手机号、联系人等信息,来构造关系图谱的邻边关系。然后通过这样的邻边关系和用户关联的节点度数判断是否关联到一些黑灰名单用户来进行风险的识别;
第四类是基于社群发现算法实现的统计类的社群特征,通过判断社群的大小、社群里面这用户行为的表现,来提炼统计类的规则特征。
未来规划
未来众安保险首先会夯实时计算平台,实现实时数据的血缘关系的管理,并尝试 Flink + K8s 的方式实现资源的动态扩缩容。
其次,众安保险希望能够基于 Flink + NubelaGraph 进行图谱平台化的建设,目前实时计算和离线计算是 Lambda 架构实现的,未来计划通过 Flink + Hologres 实现流批一体来尝试解决这个问题。
最后,众安保险会尝试在风控的反欺诈业务场景使用 Flink ML 来实现在线机器学习,提升模型开发效率,快速的实现模型的迭代,赋能智能实时风控。