《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(3)

简介: 《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(3)

《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink  在 众安保险金融业务的应用(2) https://developer.aliyun.com/article/1228200



2. 实时特征  


特征工程主要服务于金融风控场景,比如决策引擎、反欺诈、风控模型服务等。特征工程主要的目的是将原始数据转换为更好的表述问题本质的过程。使用这些特征可以提高我们对一些不可见事物预测的精度,金融业务场景就是使用这个特征来提高对用户风险的识别能力。  


特征工程是整个数据挖掘模型里最耗时也最重要的一步,它为金融业务全流程的风控提供了核心的数据支撑,主要分为三个部分:  


首先是特征挖掘,主要由风控策略和模型开发的团队来完成,他们会根据业务指标进行数据的分析处理,然后再提取出有效的合规的特征;


当特征挖掘出来之后会给到开发团队,特征开发团队根据这个特征的来源会对接不同的数据源,有些是来自三方的,有些是离线加工出来的,还有实时加工的,当然还有一些机器学习模型进行再次加工计算出来的特征;


开发好的特征会通过特征中台提供给线上的业务使用,同时也要保障整个特征链路的稳定性。


image.png


特征工程目前使用的 Flink 实时任务有一百个以上,产生了一万个以上的特征数量,每天会有 3000 万以上的特征调用。


image.png


金融风控特征的核心指标,最重要的是合规。所有的特征都是居于合规之上,之外还需要保证特征加工的准确性、特征数字的实时性、特征计算的快速响应,还有整个平台运行的高可用和稳定性。基于这样的指标要求,我们采用了 Flink 作为实时计算引擎,使用 HBase 和阿里云的 TableStore 作为高性能的存储引擎,然后通过微服务化的架构实现整体的服务化和平台化。


image.png


特征平台的架构图总体可以分为 5 大部分:  


上游系统有前台系统、决策系统和保护系统;


业务方所有的请求都会经过特征网关,特征网关会根据特征的源数据进行链路编排,有些要调用三方数据,人行征信数据,还有一些来自数据集市的数据;


数据接入之后就会进入特征数据的加工层,里面有对三方数据的特征加工服务,也有对金融实时特征数据的计算;还有一些反欺诈的特征计算服务,其中包含关系图谱以及一些名单特征的服务;


有些基础的特征通过这一层加工之后,就可以提供给上游的业务系统使用了,还有一些需要经过特征组合服务进行再次加工。众安保险通过一个低代码编辑器来实现特征的组合服务和风控模型服务,通过机器学习平台来进行特征的重新加工;


基础服务层主要是做特征的后台管理和实时监控。实时特征需要依赖实时计算平台,离线特征依赖离线调度平台。  


总结来说,特征平台是以微服务化构建的一个特征服务体系,通过接入三方数据、征信数据、内部数据、实时数据、离线数据进行特征加工和服务,组合成的一套特征计算的风控数据产品。



《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink  在 众安保险金融业务的应用(4) https://developer.aliyun.com/article/1228197

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
机器学习/深度学习 数据采集 人工智能
探索机器学习在金融风控中的应用
【7月更文挑战第31天】随着科技的飞速发展,机器学习技术已广泛应用于各行各业,尤其在金融风控领域展现出巨大潜力。本文将深入探讨机器学习如何革新传统的金融风险评估模型,通过案例分析展示其在实际应用中的效果,并讨论面临的挑战与未来发展方向。
|
机器学习/深度学习 传感器 运维
使用机器学习技术进行时间序列缺失数据填充:基础方法与入门案例
本文探讨了时间序列分析中数据缺失的问题,并通过实际案例展示了如何利用机器学习技术进行缺失值补充。文章构建了一个模拟的能源生产数据集,采用线性回归和决策树回归两种方法进行缺失值补充,并从统计特征、自相关性、趋势和季节性等多个维度进行了详细评估。结果显示,决策树方法在处理复杂非线性模式和保持数据局部特征方面表现更佳,而线性回归方法则适用于简单的线性趋势数据。文章最后总结了两种方法的优劣,并给出了实际应用建议。
807 7
使用机器学习技术进行时间序列缺失数据填充:基础方法与入门案例
|
SQL 分布式计算 NoSQL
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
224 1
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
|
监控 Cloud Native BI
8+ 典型分析场景,25+ 标杆案例,Apache Doris 和 SelectDB 精选案例集(2024版)电子版上线
飞轮科技正式推出 Apache Doris 和 SelectDB 精选案例集 ——《走向现代化的数据仓库(2024 版)》,汇聚了来自各行各业的成功案例与实践经验。该书以行业为划分标准,辅以使用场景标签,旨在为读者提供一个高度整合、全面涵盖、分类清晰且易于查阅的学习资源库。
537 8
|
机器学习/深度学习 数据采集 自然语言处理
机器学习【金融风险与风口评估及其应用】
机器学习【金融风险与风口评估及其应用】
470 6
|
机器学习/深度学习 算法 搜索推荐
机器学习及其应用领域【金融领域】
机器学习及其应用领域【金融领域】
310 5
|
消息中间件 存储 druid
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
251 3
|
消息中间件 druid 大数据
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(二)
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(二)
216 2
|
存储 大数据 分布式数据库
大数据-165 Apache Kylin Cube优化 案例 2 定义衍生维度及对比 & 聚合组 & RowKeys
大数据-165 Apache Kylin Cube优化 案例 2 定义衍生维度及对比 & 聚合组 & RowKeys
249 1
|
消息中间件 分布式计算 druid
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(一)
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(一)
251 1

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多