《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(4)

简介: 《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(4)

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink  在 众安保险金融业务的应用(3) https://developer.aliyun.com/article/1228198



3. 反欺诈

image.png


上图是实时反欺诈特征应用的数据流图,它和金融实时特征服务的数据流图有些类似的一面,但也存在一些差异。这里的数据源除了会使用业务数据外,更关注的是用户行为数据和用户设备的数据。当然这些设备数据和行为数据都是在用户许可的前提下进行采集。  


这些数据经过 Kafka之后,也会进入 Flink 进行处理。反欺诈的数据主要是用一个图数据库来存储用户关系数据,对于需要历史数据的复杂特征计算,我们会在 Flink 里面用 bitmap 作为状态存储,结合 timerService 进行数据清理,使用 Redis 进行特征计算结果存储。  


GPS 的反欺诈特征是使用 TableStore 的多元索引和 lbs 函数的能力来进行位置识别的特征计算。反欺诈的关系图谱和关系社群会通过数据可视化的能力来提供给反欺诈人员进行个案调查。


image.png


我们把反欺诈特征归为 4 大类:  


第一类是位置识别类型,主要是基于用户的位置信息,加上 GeoHash 的算法,实现位置集聚特征的数据计算。举个例子,我们通过位置集聚特征,发现了一些可疑用户,然后再通过反欺诈调查查看这些用户的人脸识别的照片,发现了他们的背景很相似,都是在同一家公司进行业务申请。所有我们就可以结合位置类的特征,加上图像识别的 AI 能力来更精准地定位类似的欺诈行为;


第二类是设备关联类,主要是通过关系图谱来实现。通过获取同一个设备的关联用户的情况,可以比较快速地定位到一些羊毛党和简单的欺诈行为;


第三类是图谱关系,比如用户的登录、注册、自用、授信等场景,我们会实时抓取用户在这些场景的一些设备指纹、手机号、联系人等信息,来构造关系图谱的邻边关系。然后通过这样的邻边关系和用户关联的节点度数判断是否关联到一些黑灰名单用户来进行风险的识别;


第四类是基于社群发现算法实现的统计类的社群特征,通过判断社群的大小、社群里面这用户行为的表现,来提炼统计类的规则特征。


未来规划

未来众安保险首先会夯实时计算平台,实现实时数据的血缘关系的管理,并尝试 Flink + K8s 的方式实现资源的动态扩缩容。  


其次,众安保险希望能够基于 Flink + NubelaGraph 进行图谱平台化的建设,目前实时计算和离线计算是 Lambda 架构实现的,未来计划通过 Flink + Hologres 实现流批一体来尝试解决这个问题。  


最后,众安保险会尝试在风控的反欺诈业务场景使用 Flink ML 来实现在线机器学习,提升模型开发效率,快速的实现模型的迭代,赋能智能实时风控。

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
5月前
|
人工智能 数据处理 API
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。
937 6
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
485 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
6月前
|
人工智能 运维 Java
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲,深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体,结合Flink的实时处理能力,推动AI在工业场景中的工程化落地,涵盖智能运维、直播分析等典型应用,展现其在AI发展第四层次——智能体AI中的重要意义。
2164 27
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
|
7月前
|
存储 人工智能 数据处理
对话王峰:Apache Flink 在 AI 时代的“剑锋”所向
Flink 2.0 架构升级实现存算分离,迈向彻底云原生化,支持更大规模状态管理、提升资源效率、增强容灾能力。通过流批一体与 AI 场景融合,推动实时计算向智能化演进。生态项目如 Paimon、Fluss 和 Flink CDC 构建湖流一体架构,实现分钟级时效性与低成本平衡。未来,Flink 将深化 AI Agents 框架,引领事件驱动的智能数据处理新方向。
754 6
|
7月前
|
消息中间件 存储 Kafka
Apache Flink错误处理实战手册:2年生产环境调试经验总结
本文由 Ververica 客户成功经理 Naci Simsek 撰写,基于其在多个行业 Flink 项目中的实战经验,总结了 Apache Flink 生产环境中常见的三大典型问题及其解决方案。内容涵盖 Kafka 连接器迁移导致的状态管理问题、任务槽负载不均问题以及 Kryo 序列化引发的性能陷阱,旨在帮助企业开发者避免常见误区,提升实时流处理系统的稳定性与性能。
634 0
Apache Flink错误处理实战手册:2年生产环境调试经验总结
|
机器学习/深度学习 存储 搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈,提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统,通过分析用户行为数据和商品信息,实现个性化推荐,从而提高推荐效率和准确性。
661 14
|
机器学习/深度学习 算法 数据可视化
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
656 1
|
机器学习/深度学习 算法 搜索推荐
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
|
机器学习/深度学习 数据采集 算法
解码癌症预测的密码:可解释性机器学习算法SHAP揭示XGBoost模型的预测机制
解码癌症预测的密码:可解释性机器学习算法SHAP揭示XGBoost模型的预测机制
1378 0
|
机器学习/深度学习 数据采集 监控
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
2246 0

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多