《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(4)

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(4)

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink  在 众安保险金融业务的应用(3) https://developer.aliyun.com/article/1228198



3. 反欺诈

image.png


上图是实时反欺诈特征应用的数据流图,它和金融实时特征服务的数据流图有些类似的一面,但也存在一些差异。这里的数据源除了会使用业务数据外,更关注的是用户行为数据和用户设备的数据。当然这些设备数据和行为数据都是在用户许可的前提下进行采集。  


这些数据经过 Kafka之后,也会进入 Flink 进行处理。反欺诈的数据主要是用一个图数据库来存储用户关系数据,对于需要历史数据的复杂特征计算,我们会在 Flink 里面用 bitmap 作为状态存储,结合 timerService 进行数据清理,使用 Redis 进行特征计算结果存储。  


GPS 的反欺诈特征是使用 TableStore 的多元索引和 lbs 函数的能力来进行位置识别的特征计算。反欺诈的关系图谱和关系社群会通过数据可视化的能力来提供给反欺诈人员进行个案调查。


image.png


我们把反欺诈特征归为 4 大类:  


第一类是位置识别类型,主要是基于用户的位置信息,加上 GeoHash 的算法,实现位置集聚特征的数据计算。举个例子,我们通过位置集聚特征,发现了一些可疑用户,然后再通过反欺诈调查查看这些用户的人脸识别的照片,发现了他们的背景很相似,都是在同一家公司进行业务申请。所有我们就可以结合位置类的特征,加上图像识别的 AI 能力来更精准地定位类似的欺诈行为;


第二类是设备关联类,主要是通过关系图谱来实现。通过获取同一个设备的关联用户的情况,可以比较快速地定位到一些羊毛党和简单的欺诈行为;


第三类是图谱关系,比如用户的登录、注册、自用、授信等场景,我们会实时抓取用户在这些场景的一些设备指纹、手机号、联系人等信息,来构造关系图谱的邻边关系。然后通过这样的邻边关系和用户关联的节点度数判断是否关联到一些黑灰名单用户来进行风险的识别;


第四类是基于社群发现算法实现的统计类的社群特征,通过判断社群的大小、社群里面这用户行为的表现,来提炼统计类的规则特征。


未来规划

未来众安保险首先会夯实时计算平台,实现实时数据的血缘关系的管理,并尝试 Flink + K8s 的方式实现资源的动态扩缩容。  


其次,众安保险希望能够基于 Flink + NubelaGraph 进行图谱平台化的建设,目前实时计算和离线计算是 Lambda 架构实现的,未来计划通过 Flink + Hologres 实现流批一体来尝试解决这个问题。  


最后,众安保险会尝试在风控的反欺诈业务场景使用 Flink ML 来实现在线机器学习,提升模型开发效率,快速的实现模型的迭代,赋能智能实时风控。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
1月前
|
存储 机器学习/深度学习 Apache
如何将Apache Hudi应用于机器学习
如何将Apache Hudi应用于机器学习
21 0
|
26天前
|
消息中间件 API Apache
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
本文整理自阿里云开源大数据平台徐榜江 (雪尽),关于阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会。
1200 1
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
|
28天前
|
SQL Java API
官宣|Apache Flink 1.19 发布公告
Apache Flink PMC(项目管理委员)很高兴地宣布发布 Apache Flink 1.19.0。
1057 1
官宣|Apache Flink 1.19 发布公告
|
1月前
|
SQL Apache 流计算
Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
【2月更文挑战第25天】Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
131 3
|
1月前
|
Oracle 关系型数据库 流计算
flink cdc 同步问题之报错org.apache.flink.util.SerializedThrowable:如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
1月前
|
XML Java Apache
Apache Flink自定义 logback xml配置
Apache Flink自定义 logback xml配置
135 0
|
1月前
|
存储 机器学习/深度学习 Apache
Apache Hudi与机器学习特征存储
Apache Hudi与机器学习特征存储
28 0
|
1月前
|
监控 API Apache
实战!配置DataDog监控Apache Hudi应用指标
实战!配置DataDog监控Apache Hudi应用指标
21 0
|
1月前
|
消息中间件 Java Kafka
Apache Hudi + Flink作业运行指南
Apache Hudi + Flink作业运行指南
78 1
|
1月前
|
缓存 分布式计算 Apache
Apache Hudi与Apache Flink更好地集成,最新方案了解下?
Apache Hudi与Apache Flink更好地集成,最新方案了解下?
58 0

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多