实时计算 Flink的全链路示意是什么样的?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

实时计算 Flink的全链路示意是什么样的?

李博 bluemind 2018-11-15 11:17:25 930

不同于现有的离线/批量计算模型,实时计算 Flink全链路整体上更加强调数据的实时性,包括数据实时采集、数据实时计算、数据实时集成。

流计算
分享到
取消 提交回答
全部回答(1)
  • 李博 bluemind
    2019-07-17 23:14:21

    三大类数据的实时处理逻辑在全链路上保证了流式计算的低时延。全链路实时计算示意图如下。
    4


    数据采集 您使用流式数据采集工具将数据流式且实时地采集并传输到大数据消息Pub/Sub系统,该系统将为下游实时计算提供源源不断的事件源去触发流式计算作业的运行。

    流式计算 流数据作为实时计算的触发源驱动实时计算运行。因此,一个实时计算作业必须至少使用一个流数据作为源。一批进入的数据流将直接触发下游实时计算的一次流式计算处理。

    数据集成 实时计算将计算的结果数据直接写入目的数据存储,这其中包括多种数据存储,包括数据存储系统、消息投递系统,甚至直接对接业务规则告警系统发出告警信息。不同于批量计算(例如阿里云MaxCompute或者开源Hadoop),实时计算天生自带数据集成模块,可以将结果数据直接写入到目的数据存储。

    数据消费 实时计算一旦将结果数据投递到目的数据源后,后续的数据消费从系统划分来说,和实时计算已经完全解耦。您可以使用数据存储系统访问数据,使用消息投递系统进行信息接收,或者直接使用告警系统进行告警。

    0 0
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题