Flink 相比传统的 Spark Streaming 有些什么区别?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Flink 相比传统的 Spark Streaming 有些什么区别?

2021-12-08 17:54:39 413 1

Flink 相比传统的 Spark Streaming 有些什么区别?

取消 提交回答
全部回答(1)
  • 游客atyyogx5esqqy
    2021-12-08 17:55:42

    Flink 是标准的实时处理引擎,基于事件驱动。而 Spark Streaming 是微批(Micro-Batch)的模型。

    下面我们就分几个方面介绍两个框架的主要区别:

    1. 架构模型

    Spark Streaming 在运行时的主要角色包括:Master、Worker、Driver、Executor,Flink 在运行时主要包含:Jobmanager、Taskmanager和Slot。

    1. 任务调度

    Spark Streaming 连续不断的生成微小的数据批次,构建有向无环图DAG,Spark Streaming 会依次创建 DStreamGraph、JobGenerator、JobScheduler。

    Flink 根据用户提交的代码生成 StreamGraph,经过优化生成 JobGraph,然后提交给 JobManager进行处理,JobManager 会根据 JobGraph 生成 ExecutionGraph,ExecutionGraph 是 Flink 调度最核心的数据结构,JobManager 根据 ExecutionGraph 对 Job 进行调度。

    1. 时间机制

    Spark Streaming 支持的时间机制有限,只支持处理时间。 Flink 支持了流处理程序在时间上的三个定义:处理时间、事件时间、注入时间。同时也支持 watermark 机制来处理滞后数据。

    1. 容错机制

    对于 Spark Streaming 任务,我们可以设置 checkpoint,然后假如发生故障并重启,我们可以从上次 checkpoint 之处恢复,但是这个行为只能使得数据不丢失,可能会重复处理,不能做到恰好一次处理语义。

    Flink 则使用两阶段提交协议来解决这个问题。

    0 0
相关问答

1

回答

如果Spark Streaming停掉了如何保证Kafka的重新运作是合理的呢?

2021-12-08 22:02:25 191浏览量 回答数 1

2

回答

Spark Streaming 和kafka整合后读取消息报错

2019-10-29 15:00:48 1691浏览量 回答数 2

1

回答

spark streaming对接kafka,出现延迟,如何处理?

2018-11-16 19:28:22 3631浏览量 回答数 1

1

回答

Spark streaming / Flink 通过通道服务实现了什么?

2022-01-13 15:24:52 175浏览量 回答数 1

1

回答

Noxmobi系统使用流式计算Spark Streaming的要求有哪些?

2021-12-08 18:27:58 430浏览量 回答数 1

1

回答

Noxmobi系统使用流式计算Spark Streaming的目的是什么?

2021-12-08 18:25:33 432浏览量 回答数 1

1

回答

Spark Streaming Duration是什么?

2021-12-08 22:06:59 163浏览量 回答数 1

1

回答

处理 Spark Streaming 小文件的典型方法是什么?

2021-12-08 21:54:59 161浏览量 回答数 1

1

回答

Spark Streaming中的JobGenerator的作用是什么?

2021-12-07 20:14:49 197浏览量 回答数 1

1

回答

Spark Streaming处理数据的特点是什么?

2021-12-07 20:45:53 176浏览量 回答数 1
文章
问答
问答排行榜
最热
最新
相关电子书
更多
基于HBase和Spark构建企业级数据处理平台
立即下载
基于streaming构建统一的数据处理引擎的挑战与实践
立即下载
# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】
立即下载