Flink相比Spark Streaming有什么区别?-问答-阿里云开发者社区-阿里云

开发者社区> 茶什i> 正文

Flink相比Spark Streaming有什么区别?

2019-11-20 16:18:51 3357 3

Flink相比Spark Streaming有什么区别?

取消 提交回答
全部回答(3)
  • 封神
    2020-03-22 11:48:02

    简单讲:flink是实时流,Spark Streaming是用批模拟流。

    0 0
  • bigbigtree
    2020-03-19 19:36:52

    生态圈对比: 大数据领域一个项目的火热离不开相关的技术栈,Spark和Flink基于对底层数据和计算调度的高度抽象的内核(Core)开发出了批处理,流处理,结构化数据,图数据,机器学习等不同套件,完成对绝大多数数据分析领域的场景的支持,意欲一统大数据分析领域。统计作为计算引擎,也很好的支持了与周边大数据分析项目的兼容,

    Spark和Flink均有Scala/Java混合编程实现,Spark的核心逻辑由Scala完成,Flink的主要核心逻辑由Java完成

    支持应用语言 Flink主要支持Scala,和Java编程,部分API支持python应用 Spark主要支持Scala,Java,Python,R语言编程,部分API暂不支持Python和R

    0 0
  • 茶什i
    2019-11-20 16:22:29

    这个问题问的很大,分几个方面回答:

    架构模型上:Spark Streaming 的task运行依赖driver 和 executor和worker,当然driver和excutor还依赖于集群管理器Standalone或者yarn等。而Flink运行时主要是JobManager、TaskManage和TaskSlot。另外一个最核心的区别是:Spark Streaming 是微批处理,运行的时候需要指定批处理的时间,每次运行 job 时处理一个批次的数据;Flink 是基于事件驱动的,事件可以理解为消息。事件驱动的应用程序是一种状态应用程序,它会从一个或者多个流中注入事件,通过触发计算更新状态,或外部动作对注入的事件作出反应。

    任务调度上:Spark Streaming的调度分为构建 DGA 图,划分 stage,生成 taskset,调度 task等步骤而Flink首先会生成 StreamGraph,接着生成 JobGraph,然后将 jobGraph 提交给 Jobmanager 由它完成 jobGraph 到 ExecutionGraph 的转变,最后由 jobManager 调度执行。

    时间机制上:flink 支持三种时间机制事件时间,注入时间,处理时间,同时支持 watermark 机制处理滞后数据。Spark Streaming 只支持处理时间,Structured streaming则支持了事件时间和watermark机制。

    容错机制上:二者保证exactly-once的方式不同。spark streaming 通过保存offset和事务的方式;Flink 则使用两阶段提交协议来解决这个问题。

    0 0
添加回答
相关问答

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 123680浏览量 回答数 4

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120227浏览量 回答数 10

37

回答

SaaS模式云数据仓库MaxCompute 百问百答合集(持续更新20211102)

亢海鹏 2020-05-29 15:10:00 61909浏览量 回答数 37

37

回答

阿里官方Java代码规范标准《阿里巴巴Java开发手册》下载

管理贝贝 2017-02-10 15:14:36 74899浏览量 回答数 37

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 118449浏览量 回答数 5

1

回答

在flink集群模式下,能不能指定某个节点的solt来执行一个task?

孙goku 2019-07-01 15:19:09 113338浏览量 回答数 1

8

回答

flink sql 支持checkpoints吗?

游客izljdlkgbdwfc 2019-07-10 17:46:37 121130浏览量 回答数 8

2

回答

Apache Flink常见问题汇总【精品问答】

黄一刀 2020-05-19 17:51:47 45640浏览量 回答数 2

18

回答

MaxCompute百问集锦(持续更新20171011)

隐林 2017-06-30 18:30:36 50771浏览量 回答数 18

11

回答

速戳 | 20位阿里出题专家-备战阿里必不可少的题目

Runt 2020-04-15 10:54:04 56690浏览量 回答数 11
+关注
204
文章
1654
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载