不同于现有的离线/批量计算模型,实时计算 Flink全链路整体上更加强调数据的实时性,包括数据实时采集、数据实时计算、数据实时集成。
三大类数据的实时处理逻辑在全链路上保证了流式计算的低时延。全链路实时计算示意图如下。
数据采集 您使用流式数据采集工具将数据流式且实时地采集并传输到大数据消息Pub/Sub系统,该系统将为下游实时计算提供源源不断的事件源去触发流式计算作业的运行。
流式计算 流数据作为实时计算的触发源驱动实时计算运行。因此,一个实时计算作业必须至少使用一个流数据作为源。一批进入的数据流将直接触发下游实时计算的一次流式计算处理。
数据集成 实时计算将计算的结果数据直接写入目的数据存储,这其中包括多种数据存储,包括数据存储系统、消息投递系统,甚至直接对接业务规则告警系统发出告警信息。不同于批量计算(例如阿里云MaxCompute或者开源Hadoop),实时计算天生自带数据集成模块,可以将结果数据直接写入到目的数据存储。
数据消费 实时计算一旦将结果数据投递到目的数据源后,后续的数据消费从系统划分来说,和实时计算已经完全解耦。您可以使用数据存储系统访问数据,使用消息投递系统进行信息接收,或者直接使用告警系统进行告警。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。