《Apache Flink 案例集(2022版)》——5.数字化转型——中信建设-Apache Flink 在国有大型银行智能运营场景下的应用(上)

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 《Apache Flink 案例集(2022版)》——5.数字化转型——中信建设-Apache Flink 在国有大型银行智能运营场景下的应用(上)

作者:刘成龙、蔡跃


用户背景

中信建投证券成立于2005年11月2日,是经中国证监会批准设立的全国性大型综合证券公司。2016年12月9日,中信建投证券在香港联交所上市,股票代码6066.HK,公司A股于2018年6月20日在上交所主板上市。公司具有行业领先、均衡全能的投资银行业务,连续8年保持行业前3名;具有产品丰富且富有竞争力的财富管理业务,公司拥有900万证券经纪业务客户,托管证券市值4.31万亿元,位居行业第2名。累计完成超过8,000单股票及债券主承销项目,主承销金额超过5万亿元,累计完成股票基金交易量超过80万亿元。凭借高度的敬业精神与突出的专业能力,中信建投证券主要经营指标目前均位居行业前10名。


业务需求


在数字化转型过程中,无论是客户、监管还是证券公司内部都对数字化建设提出了更高的要求,从个性化定制的金融产品到多方协同的实时风控能力,乃至公司内客户、业务、资金等多方面的整合管理,都需要一条稳定的、安全的实时数据链路作为重要支撑,以保证各个条线能够具有对业务需求快速反应的能力,同时对业务需求和客户状态进行实时感知并实时给出智能化、差异化、个性化的反馈,为客户提供更优质、更高效、更主动、更安全的服务。  


此外,由于金融行业涉及的业务领域众多,公司多年来积累了大量复杂的与业务高度相关的基础数据,在发现问题、分析问题,解决问题的过程中,如何协调业务前、中、后台以及科技部门等多方面配合来开展业务口径的梳理与加工逻辑的开发,成为目前亟待解决的关键问题。


image.png


中信的数据中台架构如图所示,主要分为以下几大板块:由 Greenplum 数据仓库和 Hadoop 大数据平台构成的数据中心板块;以离线开发、实时开发、数据交换为主的数据开发板块;以及数据门户、数据网关、数据治理、运营管理等板块构成。  


其中数据开发板块目前的任务主要以离线开发与数据交换的离线数据处理为主。但随着业务对数据时效性的提高,基于离线批处理的 t+1 业务模式已经无法完全满足当前市场环境下对信息及时性的需求,这也是大力发展实时开发,力求为客户提供更高时效性数据服务的原因。  


从数据门户统一入口进入实时开发模块,首先将集中交易、融资融券等业务信息的实时增量数据拉取到 Kafka 消息队列,Flink 消费 Kafka 实时流数据并与维表数据进行数据加工。加工逻辑中涉及的维表数据量比较大时,需要离线开发与数据交换,通过离线跑批的方式完成对维表的数据准备。最后将结果数据写入关系型数据库或 NoSQL 数据库。数据网关再通过读取结果数据生成 API 接口,对下游的系统提供数据服务。  


数据治理板块中的数据管控模块主要管理数据中台的数据库表以及业务相关的数据库表的元数据,用户可以在数据门户订阅他们所关注数据库表的变更信息。当订阅的数据表发生了变化的时候,运营中心可以通过统一告警模块,多渠道通知订阅用户数据库表的变更情况,以便于开发人员及时调整数据加工的任务。  


image.png


Flink 实时流处理架构首先通过 Attunity 工具采集业务数据库的 CDC 日志,将同一系统下的数据库表变化写入 Kafka 的一个 topic 队列中,这也就意味着 Kafka 的每一个 topic 中都会有多个表的数据,所以在 Flink 的 Kafka source 要先对 schema 和 tablename 这两个字段进行一次过滤,获取想要拿到的数据表的 CDC 数据流,再进行后续与维表的加工逻辑。将处理后的数据写入结果表,根据需求不同写入不同的数据库进行存储。  


证券行业数据有两个明显特征:


第一个特点是开盘的时间固定,大量业务在收盘后数据量会大幅减少,甚至有一些业务在收盘后不再产生新的数据。为了节约资源,需要根据实际情况对那些与开盘时间紧密相关的任务设置启停时间;


第二个特点是金融数据的重要性,大量场景下不允许数据偏差存在。针对数据可靠性要求极高的特征,需要对大量实时任务设置夜间数据修正的离线任务,保证数据的正确性。



《Apache Flink 案例集(2022版)》——5.数字化转型——中信建设-Apache Flink 在国有大型银行智能运营场景下的应用(下):https://developer.aliyun.com/article/1227892


相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
6天前
|
消息中间件 Java Kafka
实时计算 Flink版操作报错之Apache Flink中的SplitFetcher线程在读取数据时遇到了未预期的情况,该怎么解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
6天前
|
运维 Cloud Native 持续交付
构建未来:云原生架构在企业数字化转型中的应用
【5月更文挑战第23天】 随着企业加速其数字化转型的步伐,传统的IT基础设施已无法满足市场对于敏捷性、可扩展性和成本效益的需求。云原生架构作为一种新兴的设计理念和模式,以其独特的灵活性和效率,正成为推动企业技术革新的关键力量。本文将探讨云原生的核心组件、实施策略以及面临的挑战,并分析其在帮助企业实现快速迭代与创新中的作用。
|
1天前
|
机器学习/深度学习 Cloud Native 自动驾驶
构建未来:云原生技术在企业数字化转型中的关键角色深度学习在图像识别中的创新应用
【5月更文挑战第27天】在信息技术日新月异的今天,企业正面临着一场前所未有的数字化转型浪潮。本文将深入探讨云原生技术如何成为推动这一进程的核心动力,分析其在提高业务敏捷性、优化资源利用和促进创新方面的显著优势。通过对云原生架构和服务模型的细致剖析,揭示了它们如何助力企业快速响应市场变化,实现持续集成和部署,以及维护系统的高可用性和可伸缩性。 【5月更文挑战第27天】 随着人工智能技术的飞速发展,深度学习已成为推动计算机视觉领域进步的核心动力。本文旨在探讨深度学习技术在图像识别任务中的应用及其带来的变革。我们将回顾深度学习的基本原理,重点分析卷积神经网络(CNN)在图像处理中的关键作用,并展示
|
2天前
|
运维 Cloud Native 安全
云原生技术在企业数字化转型中的应用与挑战
【5月更文挑战第27天】 随着云计算技术的不断发展,云原生技术已经成为企业数字化转型的重要驱动力。本文将探讨云原生技术的核心概念、优势以及在企业中的应用案例,同时分析企业在采用云原生技术时面临的挑战和应对策略。
|
4天前
|
Cloud Native Devops 持续交付
构建未来:云原生架构在企业数字化转型中的应用
【5月更文挑战第25天】 随着企业加速其数字化转型的步伐,云原生架构成为了实现敏捷、可扩展和高效运营的关键。本文将深入探讨云原生技术的核心组件,包括容器化、微服务、持续集成/持续部署(CI/CD)以及DevOps文化,并分析这些技术如何协助企业在竞争激烈的市场中保持领先。通过采用云原生方法,企业能够实现更快的服务交付,提高资源利用率,降低运营成本,并增强系统的可靠性与安全性。
|
5天前
|
消息中间件 关系型数据库 MySQL
Apache Flink CDC 3.1.0 发布公告
Apache Flink 社区很高兴地宣布发布 Flink CDC 3.1.0!
286 1
Apache Flink CDC 3.1.0 发布公告
|
6天前
|
Java 关系型数据库 数据库连接
实时计算 Flink版操作报错之遇到错误org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'jdbc',该如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
8天前
|
Kubernetes Cloud Native API
构建未来:云原生技术在企业数字化转型中的应用
【5月更文挑战第20天】 随着企业加速其数字化转型的步伐,云原生技术已成为推动创新与效率的关键驱动力。本文将深入探讨云原生架构的核心组件、优势以及如何在组织中实施这些技术以促进敏捷性和可扩展性。通过分析案例研究和最佳实践,我们将揭示企业如何利用云原生工具和原则来优化资源分配、提高服务可靠性并加快市场响应速度。
|
9天前
|
运维 Kubernetes Cloud Native
构建未来:云原生技术在企业数字化转型中的应用
【5月更文挑战第20天】 随着企业加速迈向数字化时代,云原生技术作为支持快速、灵活开发的关键架构,已成为推动创新的重要力量。本文将深入探讨云原生技术的基本原理及其在企业转型过程中的实际应用,分析如何通过容器化、微服务、持续集成与持续部署(CI/CD)等策略,优化资源利用,提升业务敏捷性并保障系统的可扩展性和可靠性。此外,文章还将讨论面临的挑战和应对策略,为读者提供一个全面理解云原生技术在现代企业环境中所扮演角色的视角。
|
10天前
|
Oracle 关系型数据库 数据库
实时计算 Flink版操作报错合集之执行Flink job,报错“Could not execute SQL statement. Reason:org.apache.flink.table.api.ValidationException: One or more required options are missing”,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
75 0

热门文章

最新文章

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多