《Apache Flink 案例集(2022版)》——5.数字化转型——中信建设-Apache Flink 在国有大型银行智能运营场景下的应用(下)

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 《Apache Flink 案例集(2022版)》——5.数字化转型——中信建设-Apache Flink 在国有大型银行智能运营场景下的应用(下)

《Apache Flink 案例集(2022版)》——5.数字化转型——中信建设-Apache Flink 在国有大型银行智能运营场景下的应用(上) https://developer.aliyun.com/article/1227900



应用场景

Flink流处理在中信应用于三个不同的场景,包括零售业务实时指标统计、基金投顾实时指标统计和资金流水明细查询。

image.png


零售业务线实时指标是管理驾驶舱的重要组成部分,决策者通过分析公司运营指标,对公司的运营和发展作出合理决策。  


面向零售业务设计实时数仓,需要获得开户统计、客户服务、APP 运营几个主题的统计指标,根据实时数据处理架构和数据仓库分层的设计,面向零售业务的实时数仓可以分为以下几个流程:  


首先是构建 ODS 层数据,实时采集客户信息表、业务流水表、渠道表等相关基础表的 CDC 日志。每个业务库的数据表对应接入到一个 Kafka 的 topic 中建立实时数仓的 ODS 层;


其次是 DWD 层的数据建模,创建 Flink 任务消费 ODS 层的 Kafka 消息,进行数据清洗,过滤、脱敏、关联转换等处理。同时以客户账户粒度进行数据合流,借助离线维表进行扩围操作,以获得账户粒度的明细表,实现 DWD 层的建立;


之后是 DWS 层的数据建模,基于 DWD 层的数据进行汇总,通过分析业务需求,将 DWD 层的数据按照主题进行划分,汇总出渠道服务主题宽表、业务部运营主题宽表、交易产品主题宽表等公共指标宽表,建立 DWS 层;


最后根据实际业务需求,计算业务指标建立 ADS 层。对于一部分用户账户粒度的业务指标,可通过 DWD 层的明细直接计算得到,部分粗粒度的业务指标比如 APP 渠道服务客户人数、投顾产品阅读人数等,可以通过 DWS 层计算获得。最终计算结果接入到数据网关将数据统一提供给下游系统或通过 BI 系统展示。  


image.png


基金业务在证券行业的重要性日益凸显,它能实时提供基金投顾产品的销售信息,为基金投顾及时调整策略提供数据支持。基金投顾场景的数据有三个特点:  


第一,涉及的数据规模比较小;

第二,数据在开盘时间提供给公司内部人员查看;

第三,数据对准确性的要求特别高。  


针对数据量小的特点,中信将数据指标结果输出到 Oracle 关系数据库;针对开盘时间将数据供给内部人员查看的特点,通过开启实时任务的启停策略,将更多的资源留给夜间跑批的任务来使用;针对数据准确性要求很高的特点,通过夜间离线跑批的方式对数据进行修正,以保证数据的准确性。  


原来的方案是通过页面触发存储过程来读取数据,而且读取的数据不是源系统数据,存在分钟级别的延迟。而实时数据加工方案通过实时推送客户新增、追加、签约、保有、签约率、规模等维度的指标,让业务部门可以更高效地掌握核心数据。

image.png

资金流水实时ETL场景主要满足业务人员在开盘期间快速查询客户某个时间段内的交易流水明细数据。它需要解决三个问题:

第一,资金流水明细总共几十亿条数据,数据量很大的情况下,如何做到快速查询?

第二,开盘时间内满足业务人员查询,且非开盘时间内数据量较小,是否采用定时调度?

第三,资金流水一定不能出错,如何保证数据的准确性?  


针对数据量大的特点,中信最终选择通过HBase组件来存储数据,通过合理设计RowKey与建立数据分区,达到快速查询指定时间段内的资金流水明细情况;针对非开盘时间内交易数据量很小的特点,开启任务的定时启停策略,将更多的资源留给夜间跑批任务;针对数据准确性要求高的特点,通过离线数据修正的方法来达到准确性的要求。



未来规划


中信目前正在开发中的场景分为以下几个方面:  账户资产,包括实时资产持仓指标统计,客户交易盈亏、交易记录的分析; 营销知识,包括MOT流失客户提醒与召回、开户未成功客户提醒与跟踪、两融业务潜在新客户的挖掘、电商 APP 活动的内容与内容运营; 风控,包含以客户维度的持仓集中度指标,以公司维度的融资额度占公司净资本等指标的分析统计。  另外中信正在调研 OLAP 多维分析组件,由于目前实时开发仍然采用 Lambda 架构,结果表存储组件涉及到关系型数据库比如 MySQL、SQL Server、Oracle 以及 NoSQL 数据库比如 HBase、ES、Redis。数据孤岛是目前面临的严重问题,希望通过 OLAP 组件实现实时数据的与离线数据的统一写入,实现流批一体,打破目前数据孤岛的局面,希望在流批一体存储层达到统一存储、统一对外服务、统一分析处理的目的。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
6天前
|
消息中间件 Java Kafka
实时计算 Flink版操作报错之Apache Flink中的SplitFetcher线程在读取数据时遇到了未预期的情况,该怎么解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
5天前
|
消息中间件 关系型数据库 MySQL
Apache Flink CDC 3.1.0 发布公告
Apache Flink 社区很高兴地宣布发布 Flink CDC 3.1.0!
289 1
Apache Flink CDC 3.1.0 发布公告
|
6天前
|
Java 关系型数据库 数据库连接
实时计算 Flink版操作报错之遇到错误org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'jdbc',该如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
7月前
|
运维 JavaScript 数据可视化
数字化建设之路始于选型,企业该如何避免选型“坑”?
在转型建设的过程中,数字化系统的选型往往是最重要的环节,一旦选型不当或出现失误,将可能直接导致项目烂尾。因此,一个好的开端就是从选型开始的。
|
8天前
|
数据采集 供应链 数据可视化
低代码赋能!让传统工业企业重新夺回数字化转型主动权!
低代码平台为工业企业的数字化转型提供新途径。传统工业面临数字化人才短缺,依赖第三方服务导致转型被动。低代码开发通过可视化界面简化开发流程,允许非专业人员构建应用,减少代码编写工作量。它降低了团队规模和人员能力要求,缩短项目启动时间,实现一站式系统规划和数据打通,增强企业自主可控性。以HW公司为例,通过低代码实现智能制造应用,提升生产效率,降低成本,优化产品质量,证实了低代码方案在工业领域的有效性。
|
11天前
|
存储 人工智能 运维
|
14天前
|
机器学习/深度学习 传感器 人工智能
数字化转型新篇章:企业通往智能化的新范式
早在十多年前,一些具有前瞻视野的企业以实现“数字化”为目标启动转型实践。但时至今日,可以说尚无几家企业能够在真正意义上实现“数字化”。
|
14天前
|
机器学习/深度学习 人工智能 搜索推荐
干货分享|企业如何选择合适的数字化策略?
干货分享|企业如何选择合适的数字化策略?
27 1
|
14天前
|
数据采集 供应链 前端开发
电商企业如何构建一站式数字化供应链体系|API接口实现淘宝/京东/1688多平台商品采集+上传一站式供应链系统搭建
网络时代,企业面临转型。如今进入数字化时代,企业再次面临重大变革,全面实现数字化、智能化已是当务之急。公司将继续良性发展,请记住16个字:精简流程、降低成本、提高效率、智慧管理。主流电商平台API商品数据采集接口,不但可以在商品采集上为供应链提供大量商品,同时我们也可以通过申请官方商品上传商品发布API接口,实现商品的多平台发布。
|
8月前
|
人工智能 运维 BI
企业应如何借由低代码技术开拓新局,完成数字化转型和升级?
这几年企业都在做数字化转型。基本大家做的第一步都是首先完成线上协作办公,这个不难,有钉钉、企微等发展得比较完善的平台,企业只需要把员工全部拉上软件基本就可以完成了。

热门文章

最新文章

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多