| Apache | Flink | Spark Streaming | Storm | |
|---|---|---|---|---|
| 架构 | 架构介于Spark和Storm之间，主从结构与SparkStreaming相似，DataFlow Grpah与Storm相似 | 架构依赖Spark，每个Batch处理都依赖主（Driver），可以理解为时间维度上的spark DAG。 | 主从模式，且以来Zookeeper，处理过程中对主节点依赖不大。 | |
| 处理模式 | Native | Micro-batch | Native | |
| 容错 | 基于CheckPoint机制 | WAL及RDD机制 | Records ACK | |
| 处理模型与延迟 | 单条事件处理 亚秒级低延迟 |
窗口事件处理 秒级高延迟 |
单条事件处理 亚秒级低延迟 |
|
| 吞吐量 | High | High | Medium | |
| 数据处理保证 | excatly once | excatly once | excatly once | |
| 高级API | Flink栈中提供了很多具有高级API和满足不同场景的类库：机器学习、图分析、关系式数据处理 | 能够很容易的对接Spark生态栈里面的组件、同时能够对接主流的消息传输组件以及存储系统。 | 应用需要按照特定的Storm定义的规则编写。 | |
| 易用性 | 支持SQL streaming，Batch和Streaming采用统一变成框架 | 支持SQL straming，Batch和Streaming采用统一变成框架 | 不支持SQL streaming。 | |
| 成熟性 | 新兴项目，处于发展阶段 | 已经发展一段时间 | 相对较早的流系统，比较稳定 | |
| 部署性 | 部署相对简单，只依赖Java环境 | 部署相对简单，只依赖Java环境 | 依赖Java和Zookeeper |
Flink、Spark、Storm技术对比列表
2022-05-30
517
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
Flink、Spark、Storm技术对比列表
目录
相关文章
|
1月前
|
分布式计算
Hadoop
大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
351
1
1
|
3月前
|
监控
Oracle
关系型数据库
|
5月前
|
消息中间件
分布式计算
大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
77
0
0
|
5月前
|
SQL
分布式计算
大数据
|
24天前
|
分布式计算
大数据
数据处理
|
28天前
|
运维
监控
Java
面经：Storm实时计算框架原理与应用场景
【4月更文挑战第11天】本文是关于Apache Storm实时流处理框架的面试攻略和核心原理解析。文章分享了面试常见主题，包括Storm的架构与核心概念（如Spout、Bolt、Topology、Tuple和Ack机制），编程模型与API，部署与运维，以及应用场景与最佳实践。通过代码示例展示了如何构建一个简单的WordCountTopology，强调理解和运用Storm的关键知识点对于面试和实际工作的重要性。
36
4
4
|
3月前
|
SQL
并行计算
大数据
【大数据技术攻关专题】「Apache-Flink零基础入门」手把手+零基础带你玩转大数据流式处理引擎Flink（基础加强+运行原理）
关于Flink服务的搭建与部署，由于其涉及诸多实战操作而理论部分相对较少，小编打算采用一个独立的版本和环境来进行详尽的实战讲解。考虑到文字描述可能无法充分展现操作的细节和流程，我们决定以视频的形式进行分析和介绍。因此，在本文中，我们将暂时不涉及具体的搭建和部署步骤。
498
3
9
|
4月前
|
存储
测试技术
数据处理
|
4月前
|
消息中间件
分布式计算
数据处理
|
4月前
|
存储
测试技术
Apache
阿里云实时计算企业级状态存储引擎 Gemini 技术解读
本文整理自阿里云 Flink 存储引擎团队李晋忠，兰兆千，梅源关于阿里云实时计算企业级状态存储引擎 Gemini 的研究。
125389
4
4
热门文章
最新文章
1
Flink读取Kafka报Error sending fetch request
2
Apache Flink 零基础入门（一）：基础概念解析
3
Flink: 实时规则引擎助力新零售发展
4
Apache Flink 进阶（三）：Checkpoint 原理解析与应用实践
5
Flink RocksDB 状态后端参数调优实践
6
Flink 基础学习(五)数据存储
7
【开通指南】 实时计算Flink全托管版本
8
Flink 1.11.0 发布，有哪些值得关注的新特性？
9
【最全的大数据面试系列】Flink面试题大全
10
PostgreSQL 无会话、有会话模式 - 客服平均响应速度（RT）实时计算实践(窗口查询\流计算)
1
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
139
2
安装Spark
37
3
Spark学习---day07、Spark内核（Shuffle、任务执行）
42
4
Spark读取变更Hudi数据集Schema实现分析
44
5
实战|使用Spark Streaming写入Hudi
56
6
adb spark的lakehouse api访问内表数据，还支持算子下推吗
108
7
Spark学习---day06、Spark内核（源码提交流程、任务执行）
44
8
Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
69
9
Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
34
10
Spark【基础知识 03】【RDD常用算子详解】（图片来源于网络）
60