开发者社区> 问答> 正文

实时计算 Flink的全链路示意是什么样的?

不同于现有的离线/批量计算模型,实时计算 Flink全链路整体上更加强调数据的实时性,包括数据实时采集、数据实时计算、数据实时集成。

展开
收起
李博 bluemind 2018-11-15 11:17:25 3210 0
1 条回答
写回答
取消 提交回答
  • 云栖社区Java、Redis、MongoDB运营小编,有意合作请联系钉钉:15810436147

    三大类数据的实时处理逻辑在全链路上保证了流式计算的低时延。全链路实时计算示意图如下。
    4


    数据采集 您使用流式数据采集工具将数据流式且实时地采集并传输到大数据消息Pub/Sub系统,该系统将为下游实时计算提供源源不断的事件源去触发流式计算作业的运行。

    流式计算 流数据作为实时计算的触发源驱动实时计算运行。因此,一个实时计算作业必须至少使用一个流数据作为源。一批进入的数据流将直接触发下游实时计算的一次流式计算处理。

    数据集成 实时计算将计算的结果数据直接写入目的数据存储,这其中包括多种数据存储,包括数据存储系统、消息投递系统,甚至直接对接业务规则告警系统发出告警信息。不同于批量计算(例如阿里云MaxCompute或者开源Hadoop),实时计算天生自带数据集成模块,可以将结果数据直接写入到目的数据存储。

    数据消费 实时计算一旦将结果数据投递到目的数据源后,后续的数据消费从系统划分来说,和实时计算已经完全解耦。您可以使用数据存储系统访问数据,使用消息投递系统进行信息接收,或者直接使用告警系统进行告警。

    2019-07-17 23:14:21
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载