《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(3)

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(3)

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink  在 众安保险金融业务的应用(2) https://developer.aliyun.com/article/1228200



2. 实时特征  


特征工程主要服务于金融风控场景,比如决策引擎、反欺诈、风控模型服务等。特征工程主要的目的是将原始数据转换为更好的表述问题本质的过程。使用这些特征可以提高我们对一些不可见事物预测的精度,金融业务场景就是使用这个特征来提高对用户风险的识别能力。  


特征工程是整个数据挖掘模型里最耗时也最重要的一步,它为金融业务全流程的风控提供了核心的数据支撑,主要分为三个部分:  


首先是特征挖掘,主要由风控策略和模型开发的团队来完成,他们会根据业务指标进行数据的分析处理,然后再提取出有效的合规的特征;


当特征挖掘出来之后会给到开发团队,特征开发团队根据这个特征的来源会对接不同的数据源,有些是来自三方的,有些是离线加工出来的,还有实时加工的,当然还有一些机器学习模型进行再次加工计算出来的特征;


开发好的特征会通过特征中台提供给线上的业务使用,同时也要保障整个特征链路的稳定性。


image.png


特征工程目前使用的 Flink 实时任务有一百个以上,产生了一万个以上的特征数量,每天会有 3000 万以上的特征调用。


image.png


金融风控特征的核心指标,最重要的是合规。所有的特征都是居于合规之上,之外还需要保证特征加工的准确性、特征数字的实时性、特征计算的快速响应,还有整个平台运行的高可用和稳定性。基于这样的指标要求,我们采用了 Flink 作为实时计算引擎,使用 HBase 和阿里云的 TableStore 作为高性能的存储引擎,然后通过微服务化的架构实现整体的服务化和平台化。


image.png


特征平台的架构图总体可以分为 5 大部分:  


上游系统有前台系统、决策系统和保护系统;


业务方所有的请求都会经过特征网关,特征网关会根据特征的源数据进行链路编排,有些要调用三方数据,人行征信数据,还有一些来自数据集市的数据;


数据接入之后就会进入特征数据的加工层,里面有对三方数据的特征加工服务,也有对金融实时特征数据的计算;还有一些反欺诈的特征计算服务,其中包含关系图谱以及一些名单特征的服务;


有些基础的特征通过这一层加工之后,就可以提供给上游的业务系统使用了,还有一些需要经过特征组合服务进行再次加工。众安保险通过一个低代码编辑器来实现特征的组合服务和风控模型服务,通过机器学习平台来进行特征的重新加工;


基础服务层主要是做特征的后台管理和实时监控。实时特征需要依赖实时计算平台,离线特征依赖离线调度平台。  


总结来说,特征平台是以微服务化构建的一个特征服务体系,通过接入三方数据、征信数据、内部数据、实时数据、离线数据进行特征加工和服务,组合成的一套特征计算的风控数据产品。



《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink  在 众安保险金融业务的应用(4) https://developer.aliyun.com/article/1228197

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
6月前
|
SQL 存储 人工智能
Apache Flink 2.0.0: 实时数据处理的新纪元
Apache Flink 2.0.0 正式发布!这是自 Flink 1.0 发布九年以来的首次重大更新,凝聚了社区两年的努力。此版本引入分离式状态管理、物化表、流批统一等创新功能,优化云原生环境下的资源利用与性能表现,并强化了对人工智能工作流的支持。同时,Flink 2.0 对 API 和配置进行了全面清理,移除了过时组件,为未来的发展奠定了坚实基础。感谢 165 位贡献者的辛勤付出,共同推动实时计算进入新纪元!
765 1
Apache Flink 2.0.0: 实时数据处理的新纪元
|
9月前
|
存储 SQL 人工智能
Apache Flink 2.0:Streaming into the Future
本文整理自阿里云智能高级技术专家宋辛童、资深技术专家梅源和高级技术专家李麟在 Flink Forward Asia 2024 主会场的分享。三位专家详细介绍了 Flink 2.0 的四大技术方向:Streaming、Stream-Batch Unification、Streaming Lakehouse 和 AI。主要内容包括 Flink 2.0 的存算分离云原生化、流批一体的 Materialized Table、Flink 与 Paimon 的深度集成,以及 Flink 在 AI 领域的应用。
1260 13
Apache Flink 2.0:Streaming into the Future
|
6月前
|
存储 大数据 数据处理
您有一份 Apache Flink 社区年度报告请查收~
您有一份 Apache Flink 社区年度报告请查收~
|
SQL 架构师 API
《Apache Flink 知其然,知其所以然》系列视频课程
# 课程简介 目前在我的公众号新推出了《Apache Flink 知其然,知其所以然》的系列视频课程。在内容上会先对Flink整体架构和所适用的场景做一个基础介绍,让你对Flink有一个整体的认识!然后对核心概念进行详细介绍,让你深入了解流计算中一些核心术语的含义,然后对Flink 各个层面的API,如 SQL/Table&DataStreamAPI/PythonAPI 进行详细的介绍,以及
1473 0
《Apache Flink 知其然,知其所以然》系列视频课程
|
存储 消息中间件 Java
Apache Flink 实践问题之原生TM UI日志问题如何解决
Apache Flink 实践问题之原生TM UI日志问题如何解决
113 1
|
9月前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
669 33
The Past, Present and Future of Apache Flink
|
11月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
1467 13
Apache Flink 2.0-preview released
|
11月前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
392 3
|
SQL 消息中间件 关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
357 21

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多