开发者社区> 合禾> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

实时流技术来源及比较

简介:
+关注继续查看

流数据的处理存在很多技术:
1、简单的事件处理器
2、复杂的事件处理器
3、流处理器

分布式流处理需求日益增加,包括支付交易、社交网络、物联网(IOT)、系统监控等。业界对流处理已经有几种适用的框架来解决,下面我们来比较各流处理框架的相同点以及区别。
分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算,但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。

当选择不同的流处理系统时,有以下几点需要注意的:
运行时和编程模型:平台框架提供的编程模型决定了许多特色功能,编程模型要足够处理各种应用场景。这是一个相当重要的点,后续会继续。

函数式原语:流处理平台应该能提供丰富的功能函数,比如,map或者filter这类易扩展、处理单条信息的函数;处理多条信息的函数aggregation;跨数据流、不易扩展的操作join。

状态管理:大部分应用都需要保持状态处理的逻辑。流处理平台应该提供存储、访问和更新状态信息。

消息传输保障:消息传输保障一般有三种:at most once,at least once和exactly once。At most once的消息传输机制是每条消息传输零次或者一次,即消息可能会丢失;A t least once意味着每条消息会进行多次传输尝试,至少一次成功,即消息传输可能重复但不会丢失;Exactly once的消息传输机制是每条消息有且只有一次,即消息传输既不会丢失也不会重复。

容错:流处理框架中的失败会发生在各个层次,比如,网络部分,磁盘崩溃或者节点宕机等。流处理框架应该具备从所有这种失败中恢复,并从上一个成功的状态(无脏数据)重新消费。

性能:延迟时间(Latency),吞吐量(Throughput)和扩展性(Scalability)是流处理应用中极其重要的指标。

平台的成熟度和接受度:成熟的流处理框架可以提供潜在的支持,可用的库,甚至开发问答帮助。选择正确的平台会在这方面提供很大的帮助。

对海量事件的收集和处理要满足:低开销、低延迟。流处理器对此提供了比较好的支持。考虑每秒数据量的大小,再确定如何选用何种技术。(例如流量每秒几百条消息,每秒数十万条消息,处理的技术可以完全不同)

image

Flume 和 NiFi 确切地属于数据收集(DC)和单事件处理器(SEP),而其它的是多事件流处理器(ESP)引擎或复杂的事件处理器(CEP)。

Spark 本身和 Ignite 确切来说不仅仅是流处理器,他们还提供流媒体功能。Apex 也是同样的情况,这是一个统一批次和流数据的平台,它应该是介于一个数据收集引擎、一个基本 ETL 工具与一个事件流处理器之间。

Kafka 流是一个 Kafka 的 Java 库,主要用于消息的处理。Kafka流是最初由 LinkedIn 开发的消息传递系统。Kafka 目前在 LinkedIn、Netflix 和 Spotify 中被广泛应用。Kafka流的特点是低延迟、高容量、分布式的队列系统。

在 CEP 市场上当然还有许多其他选择,例如:Software AG 的 Apama,微软的 StreamInsight,Oracle 事件处理,SAP ESP,Tibco 的 BusinessEvents&Streambase。它们列出时并没有按具体的顺序!另外还有Esper,其中有一个可获取的开源版本,是 GNU GPL 许可的。

In-flight 修改表示没有任何停机或应用程序重新提交的情况。有时也被称为零停机扩容,和即席或动态应用程序修改。对于 in-flight 修改,Spooker是一个值得多看一眼的项目。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
物联网技术
物联网是近几年迅速发展并为人们所熟知的概念,被公认为是继计算机、互联网、移动通信后世界信息产业革命的新一次浪潮,被认为是下一个万亿级产业。其市场前景预期将远远超过计算机、互联网和移动通信,必将成为世界经济的新增长点,从国内来看,物联网产业正在逐步成为各地战略性新兴产业发展的重要领域。
20 0
物联网的未来:区块链和云技术的融合
到2025年,全球物联网部署预计将增加两倍,达到210亿台设备。但有一个问题是:企业将如何安全,高效,快速地共享和分析所有的生成数据?答案在于一种混合IT方法,该方法平衡了传统的集中式云网络的中心辐射模型与区块链提供的分布式对等结构。
1668 0
物联网应用技术
<div id="card-container" class="mod-top" style=""> <div class="card-summary nslog-area clearfix" style="line-height:25px; background-color:rgb(255,255,255); margin-bottom:18px; color:rgb(51,51,51
2042 0
ubuntu升级--网通源
##http://os.nchc.org.tw/ubuntu(台湾国家高速网路与计算中心) deb http://os.nchc.org.tw/ubuntu/ dapper main restricted universe multiverse deb http://os.nchc.org.tw/ubuntu/ dapper-security main restricted unive
1116 0
+关注
2
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载