开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

中信的数据中台架构有哪些?

已解决

中信的数据中台架构有哪些?

展开
收起
游客lmkkns5ck6auu 2022-08-31 11:12:46 457 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    主要分为以下几大板块:由 Greenplum 数据仓库和 Hadoop 大数据平台构成 的数据中心板块;以离线开发、实时开发、数据交换为主的数据开发板块;以及数据门户、数据网关、数据治理、运营管理等板块构成。

    其中数据开发板块目前的任务主要以离线开发与数据交换的离线数据处理为主。但随着业务对数据时效性的提高,基于离线批处理的 t+1 业务模式已经无法完全满足当前市场环境下对信息及时性的需求,这也是大力发展实时开发,力求为客户提供更高时效性数据服务的原因。 从数据门户统一入口进入实时开发模块,首先将集中交易、融资融券等业务信息的实时增量数据拉取到 Kafka消息队列,Flink 消费 Kafka 实时流数据并与维表数据进行数据加工。加工逻辑中涉及的维表数据量比较大时, 需要离线开发与数据交换,通过离线跑批的方式完成对维表的数据准备。

    最后将结果数据写入关系型数据库 或 NoSQL 数 据 库 。 数据网 关 再通过读取结 果 数据生成 API 接 口 , 对下游的系统提 供 数 据 服 务 。数据治理板块中的数据管控模块主要管理数据中台的数据库表以及业务相关的数据库表的元数据,用户可以在数据门户订阅他们所关注数据库表的变更信息。当订阅的数据表发生了变化的时候,运营中心可以通过统一告警模块,多渠道通知订阅用户数据库表的变更情况,以便于开发人员及时调整数据加工的任务。

    以上内容摘自《Apache Flink 案例集(2022版)》电子书,点击https://developer.aliyun.com/ebook/download/7718 可下载完整版

    2022-08-31 13:16:54
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
MaxCompute Serverless 架构演进 立即下载
阿里云消息队列的 Serverless架构演进 立即下载
青团社云原生架构实践—亿级灵活用工平台的架构实践 立即下载