| Apache | Flink | Spark Streaming | Storm | |
|---|---|---|---|---|
| 架构 | 架构介于Spark和Storm之间，主从结构与SparkStreaming相似，DataFlow Grpah与Storm相似 | 架构依赖Spark，每个Batch处理都依赖主（Driver），可以理解为时间维度上的spark DAG。 | 主从模式，且以来Zookeeper，处理过程中对主节点依赖不大。 | |
| 处理模式 | Native | Micro-batch | Native | |
| 容错 | 基于CheckPoint机制 | WAL及RDD机制 | Records ACK | |
| 处理模型与延迟 | 单条事件处理 亚秒级低延迟 |
窗口事件处理 秒级高延迟 |
单条事件处理 亚秒级低延迟 |
|
| 吞吐量 | High | High | Medium | |
| 数据处理保证 | excatly once | excatly once | excatly once | |
| 高级API | Flink栈中提供了很多具有高级API和满足不同场景的类库：机器学习、图分析、关系式数据处理 | 能够很容易的对接Spark生态栈里面的组件、同时能够对接主流的消息传输组件以及存储系统。 | 应用需要按照特定的Storm定义的规则编写。 | |
| 易用性 | 支持SQL streaming，Batch和Streaming采用统一变成框架 | 支持SQL straming，Batch和Streaming采用统一变成框架 | 不支持SQL streaming。 | |
| 成熟性 | 新兴项目，处于发展阶段 | 已经发展一段时间 | 相对较早的流系统，比较稳定 | |
| 部署性 | 部署相对简单，只依赖Java环境 | 部署相对简单，只依赖Java环境 | 依赖Java和Zookeeper |
Flink、Spark、Storm技术对比列表
2022-05-30
575
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
Flink、Spark、Storm技术对比列表
目录
相关文章
|
7天前
|
分布式计算
数据处理
Apache
|
1月前
|
消息中间件
资源调度
API
Apache Flink 流批融合技术介绍
本文源自阿里云高级研发工程师周云峰在Apache Asia Community OverCode 2024的分享，内容涵盖从“流批一体”到“流批融合”的演进、技术解决方案及社区进展。流批一体已在API、算子和引擎层面实现统一，但用户仍需手动配置作业模式。流批融合旨在通过动态调整优化策略，自动适应不同场景需求。文章详细介绍了如何通过量化指标（如isProcessingBacklog和isInsertOnly）实现这一目标，并展示了针对不同场景的具体优化措施。此外，还概述了社区当前进展及未来规划，包括将优化方案推向Flink社区、动态调整算子流程结构等。
349
31
33
|
4月前
|
分布式计算
Serverless
调度
EMR Serverless Spark：结合实时计算 Flink 基于 Paimon 实现流批一体
本文演示了使用实时计算 Flink 版和 Serverless Spark 产品快速构建 Paimon 数据湖分析的流程，包括数据入湖 OSS、交互式查询，以及离线Compact。Serverless Spark完全兼容Paimon，通过内置的DLF的元数据实现了和其余云产品如实时计算Flink版的元数据互通，形成了完整的流批一体的解决方案。同时支持灵活的作业运行方式和参数配置，能够满足实时分析、生产调度等多项需求。
60777
107
111
|
2月前
|
Cloud Native
安全
调度
|
2月前
|
机器学习/深度学习
监控
Serverless
Serverless 应用的监控与调试问题之Flink在内部使用的未来规划，以及接下来有什么打算贡献社区的创新技术
Serverless 应用的监控与调试问题之Flink在内部使用的未来规划，以及接下来有什么打算贡献社区的创新技术
45
0
0
|
2月前
|
机器学习/深度学习
人工智能
运维
|
3月前
|
存储
算法
物联网
海量数据实时计算利器：深入探索Tec（一个假设性技术框架）
总之，Tec作为海量数据实时计算利器，在推动数字化转型、提升业务效率、保障数据安全等方面发挥着重要作用。随着技术的不断进步和应用场景的不断拓展，Tec的未来发展前景将更加广阔。
57
2
2
|
3月前
|
分布式计算
数据处理
流计算
实时计算 Flink版产品使用问题之使用Spark ThriftServer查询同步到Hudi的数据时，如何实时查看数据变化
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
46
1
1
|
4月前
|
SQL
分布式计算
HIVE
实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
263
3
3
|
存储
SQL
API
【对话科技】Flink技术介绍和新功能展望
2017年6月22号，由“京城学堂”和阿里巴巴集团技术发展部主办的“对话科技”系列讲座邀请到了Apache Flink项目的PMC成员，来自德国DataArtisans公司的Till Rohrmann，在北京阿里中心为关注实时计算技术的阿里同学做了一场关于Apache Flink技术发展的精彩分享。
6832
0
1
热门文章
最新文章
1
Spark-ML-01-小试spark分析离线商品信息
2
大数据平台搭建（容器环境）——Spark3.X on Yarn安装配置
3
Spark-神奇的共享变量
4
[Spark][Python]Mapping Single Rows to Multiple Pairs
5
[Spark][Python]Spark Python 索引页
6
工作经验分享：Spark调优【优化后性能提升1200%】
7
Spark Job的提交与task本地化分析（源码阅读八）
8
Spark-构建基于Spark的推荐引擎
9
Spark-spark streaming
10
Spark PruneDependency 依赖关系 RangePartitioner
1
Blink实时计算：Explorer大基数表的写入性能优化
84
2
Flink DataStream API 批处理能力演进之路
592
3
人工智能平台PAI 操作报错合集之在集群上提交了包含alink相关功能的flink任务，但是却报错如何解决
91
4
阿里巴巴瓴羊基于 Flink 实时计算的优化和实践
588
5
[尚硅谷flink] 检查点笔记
158
6
[尚硅谷 flink] 状态管理 笔记
68
7
[尚硅谷flink学习笔记] 实战案例TopN 问题
168
8
[尚硅谷 flink] 基于时间的合流——双流联结
73
9
[尚硅谷flink] 水位线
71
10
[实时流基础 flink] 窗口函数
137