一决高下,分布式流处理框架孰优孰劣-阿里云开发者社区

开发者社区> 大数据> 正文

一决高下,分布式流处理框架孰优孰劣

简介: 本文PPT来自技术专家毛玮于10月16日在2016年杭州云栖大会上发表的《分布式流处理框架--功能对比和性能评估》。

本文PPT来自技术专家毛玮于10月16日在2016年杭州云栖大会上发表的《分布式流处理框架--功能对比和性能评估》。

目前,分布式流处理框架数量不少,各有特色,究竟哪个性能更好、哪个效率更高、哪个更适合我呢?一般来说,当选择不同的流处理系统时,我们往往需要关注以下六大方面:1.运行时和编程模型2.函数式原语3.状态管理 4.消息传输保障 5.容错 6.性能。

其中,运行时模型主要包括原生的流处理和微批处理。流处理意味着所有输入的记录一旦到达即会一个接着一个进行处理,微批处理则把输入的数据按照某种预先定义的时间间隔分成短小的批量数据,流经流处理系统。编程模型一般分为组合式和声明式。组合式编程提供基本的构建模块,它们必须紧密结合来创建拓扑,相对应地,声明式API操作是定义的函数。

在下面的图中我们不仅会具体介绍每个要点,而且还会列出主流的框架,如Spark Streaming、Storm、Flink、Heron框架的性能对比测试结果数据。

c060971ac4de3ca279af9fe3356609cd34004360


10951ecaa791504b4042ed21961de925b13314ed

6408d63b6afaae86500d391753beb63ed652a139

1de09d7f4f7cb02460e7c355a598fb77529b1441

1e4113599f69e4c9c96040c01ec4374ba6ef4193

186946959b7a50c0978ddbff567615543189c0a4

218f012ceb890d08dd4e3d800b2c1da28165e465

25ec173c4a4a8419cace969ec585634eb1100cca

ec754530d225d39dbcc2a926ca5014c1615612db

f2262a5442d810056e1b1561b870cb9573bae2d0

7665d61e0a071ea670a775c3eaa0721761b67e26

460aeec6adb58c5081e1c90180bcb6b92218842b

ffc431e90c721d2df29562c1a2be939e023bdf93

ee58c03b044c4f9c0e7d9f412e58964786c36e8b

6d20aaaff6db49582b1a26daa975ff8f81c237f4

77c87a96d16f41c88518fcd5a51bab8ff9ae0383

260d1a3a13654485aa5f125e768d323f03aad02a

f2d17d30d4a2ed04cc23ba1ef0d8e36c5ff0dc1e





版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章