一决高下,分布式流处理框架孰优孰劣

简介: 本文PPT来自技术专家毛玮于10月16日在2016年杭州云栖大会上发表的《分布式流处理框架--功能对比和性能评估》。

本文PPT来自技术专家毛玮于10月16日在2016年杭州云栖大会上发表的《分布式流处理框架--功能对比和性能评估》。

目前,分布式流处理框架数量不少,各有特色,究竟哪个性能更好、哪个效率更高、哪个更适合我呢?一般来说,当选择不同的流处理系统时,我们往往需要关注以下六大方面:1.运行时和编程模型2.函数式原语3.状态管理 4.消息传输保障 5.容错 6.性能。

其中,运行时模型主要包括原生的流处理和微批处理。流处理意味着所有输入的记录一旦到达即会一个接着一个进行处理,微批处理则把输入的数据按照某种预先定义的时间间隔分成短小的批量数据,流经流处理系统。编程模型一般分为组合式和声明式。组合式编程提供基本的构建模块,它们必须紧密结合来创建拓扑,相对应地,声明式API操作是定义的函数。

在下面的图中我们不仅会具体介绍每个要点,而且还会列出主流的框架,如Spark Streaming、Storm、Flink、Heron框架的性能对比测试结果数据。

c060971ac4de3ca279af9fe3356609cd34004360


10951ecaa791504b4042ed21961de925b13314ed

6408d63b6afaae86500d391753beb63ed652a139

1de09d7f4f7cb02460e7c355a598fb77529b1441

1e4113599f69e4c9c96040c01ec4374ba6ef4193

186946959b7a50c0978ddbff567615543189c0a4

218f012ceb890d08dd4e3d800b2c1da28165e465

25ec173c4a4a8419cace969ec585634eb1100cca

ec754530d225d39dbcc2a926ca5014c1615612db

f2262a5442d810056e1b1561b870cb9573bae2d0

7665d61e0a071ea670a775c3eaa0721761b67e26

460aeec6adb58c5081e1c90180bcb6b92218842b

ffc431e90c721d2df29562c1a2be939e023bdf93

ee58c03b044c4f9c0e7d9f412e58964786c36e8b

6d20aaaff6db49582b1a26daa975ff8f81c237f4

77c87a96d16f41c88518fcd5a51bab8ff9ae0383

260d1a3a13654485aa5f125e768d323f03aad02a

f2d17d30d4a2ed04cc23ba1ef0d8e36c5ff0dc1e





相关文章
|
8天前
|
消息中间件 Kafka Apache
Apache Flink 是一个开源的分布式流处理框架
Apache Flink 是一个开源的分布式流处理框架
82 5
|
24天前
|
监控 负载均衡 Dubbo
Dubbo 框架揭秘:分布式架构的精髓与魔法【一】
Dubbo 框架揭秘:分布式架构的精髓与魔法【一】
20 0
|
2月前
|
存储 安全 JavaScript
【分布式技术专题】「授权认证体系」深度解析OAuth2.0协议的原理和流程框架实现指南(授权流程和模式)
在传统的客户端-服务器身份验证模式中,客户端请求服务器上访问受限的资源(受保护的资源)时,需要使用资源所有者的凭据在服务器上进行身份验证。资源所有者为了给第三方应用提供受限资源的访问权限,需要与第三方共享它的凭据。这就导致一些问题和局限:
35 2
【分布式技术专题】「授权认证体系」深度解析OAuth2.0协议的原理和流程框架实现指南(授权流程和模式)
|
4月前
|
SQL NoSQL 关系型数据库
分布式系列教程(21) -分布式事务解决方案(框架篇)
分布式系列教程(21) -分布式事务解决方案(框架篇)
47 0
|
2月前
|
负载均衡 Java 调度
【分布式技术专题】「探索高性能远程通信」基于Netty的分布式通信框架实现(Dispatcher和EventListener)(下)
经过阅读《【分布式技术专题】「探索高性能远程通信」基于Netty的分布式通信框架实现(附通信协议和代码)(上)》,相信您已经对网络通信框架的网络通信层的实现原理和协议模型有了一定的认识和理解。
25 0
【分布式技术专题】「探索高性能远程通信」基于Netty的分布式通信框架实现(Dispatcher和EventListener)(下)
|
2月前
|
Dubbo Java 应用服务中间件
【分布式技术专题】「探索高性能远程通信」基于Netty的分布式通信框架实现(附通信协议和代码)(上)
今天,我要向大家实现一个基于Netty实现的高性能远程通信框架!这个框架利用了 Netty 的强大功能,提供了快速、可靠的远程通信能力。 无论是构建大规模微服务架构还是实现分布式计算,这个分布式通信框架都是一个不可或缺的利器。
38 2
【分布式技术专题】「探索高性能远程通信」基于Netty的分布式通信框架实现(附通信协议和代码)(上)
|
2月前
|
SQL 关系型数据库 FESCAR
分布式事务框架 seata
分布式事务框架 seata
56 0
|
2月前
|
Java 数据库连接 应用服务中间件
32天高效突击:框架+性能优化+微服务+分布式,笔记面试全有
今年似乎因为疫情影响,时间过得特别快,对于需要跳槽换工作的人来,更觉得有些突然,似乎金三银四和金九银四还没开始准备好,就匆匆过去。加上今年的大环境不佳,所以大部分的人在今年的招聘旺季都没有收获到好的结果。
|
3月前
|
消息中间件 Dubbo 调度
分布式批处理框架在大促场景下的设计与实现
分布式批处理框架在大促场景下的设计与实现
|
4月前
|
开发框架 监控 前端开发
推荐一个.Net分布式微服务开发框架
推荐一个.Net分布式微服务开发框架
47 0