写回答
-
推荐回答主要分为以下几大板块：由 Greenplum 数据仓库和 Hadoop 大数据平台构成 的数据中心板块；以离线开发、实时开发、数据交换为主的数据开发板块；以及数据门户、数据网关、数据治理、运营管理等板块构成。
其中数据开发板块目前的任务主要以离线开发与数据交换的离线数据处理为主。但随着业务对数据时效性的提高，基于离线批处理的 t+1 业务模式已经无法完全满足当前市场环境下对信息及时性的需求，这也是大力发展实时开发，力求为客户提供更高时效性数据服务的原因。 从数据门户统一入口进入实时开发模块，首先将集中交易、融资融券等业务信息的实时增量数据拉取到 Kafka消息队列，Flink 消费 Kafka 实时流数据并与维表数据进行数据加工。加工逻辑中涉及的维表数据量比较大时， 需要离线开发与数据交换，通过离线跑批的方式完成对维表的数据准备。
最后将结果数据写入关系型数据库 或 NoSQL 数 据 库 。 数据网 关 再通过读取结 果 数据生成 API 接 口 ， 对下游的系统提 供 数 据 服 务 。数据治理板块中的数据管控模块主要管理数据中台的数据库表以及业务相关的数据库表的元数据，用户可以在数据门户订阅他们所关注数据库表的变更信息。当订阅的数据表发生了变化的时候，运营中心可以通过统一告警模块，多渠道通知订阅用户数据库表的变更情况，以便于开发人员及时调整数据加工的任务。
以上内容摘自《Apache Flink 案例集（2022版）》电子书，点击https://developer.aliyun.com/ebook/download/7718 可下载完整版
2022-08-31 13:16:54赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
