Yahoo! s4和Twitter storm的粗略比较

简介:
Items\Projects
Yahoo! s4
Twitter Storm
协议
Apache license 2.0
Eclipse Public License 1.0
开发语言
Java
Clojure,Java,Clojure编写了核心代码
结构
去中心化的对等结构
有中心节点nimbus,但非关键
通信
可插拔的通讯层,目前是基于UDP的实现 基于facebook开源的thrift框架
事件/Stream
<K,A>序列,用户可自定义事件类 提供Tuple类,用户不可自定义事件类,
但是可以命名field和注册序列化器
处理单元 Processing Elements,内置PE处理
count,join和aggregate等常见任务
Bolt,没有内置任务,提供IBasicBolt处理
自动ack
第三方交互
提供API,Client Adapter/Driver,第三方客户端输入或者输出事件 定义Spout用于产生Stream,没有标准输出API
持久化 提供Persist API规范,可根据频率或者次数做
持久化
无特定API,用户可自行选择处理
可靠处理  无,可能会丢失事件  提供对事件处理的可靠保证(可选)
路由 EventType + Keyed attribute + value匹配
内置count,join和aggregate标准任务
Stream Groupings:
Shuffle,Fields,All,Global,None,Direct
非常灵活的路由方式
多语言支持  暂时只支持Java 多语言支持良好,本身支持Java,Clojure,
其他非JVM语言通过thrift和进程间通讯
Failover
 部分支持,数据无法failover  部分支持,数据同样无法failover
Load Balance
不支持  不支持
 并行处理  取决于节点数目,不可调节  可配置worker和task数目,storm会尽量将worker和task均匀分布
动态增删节点 不支持
 支持
动态部署
 不支持  支持
web管理  不支持  支持
代码成熟度  半成品  成熟
活跃度  低  活跃
编程  编程 + XML配置
  纯编程
参考文档  http://docs.s4.io/

https://github.com/nathanmarz/storm/wiki/
http://xumingming.sinaapp.com/category/storm/ (非常好




的中文翻译)


目录
相关文章
|
6月前
|
数据可视化
R语言推特twitter转发可视化分析
R语言推特twitter转发可视化分析
|
机器学习/深度学习 算法 Scala
Twitter推荐算法解读
最近 Twitter 开源了其最宝贵的财产——推荐算法!本文将带你了解 Twitter 是如何做内容推荐的。
943 0
Twitter推荐算法解读
DHL
|
算法 Java Android开发
Twitter 上有趣的代码
这是海外一位 Kotlin GDE 大佬,在 Twitter 上分享的一段代码,你能快速的说出正确的结果吗
DHL
168 0
Twitter 上有趣的代码
|
机器学习/深度学习 算法 搜索推荐
Twitter 算法开源究竟会是什么样的?
本文最初发布于 Travis Fischer 的个人博客。
393 0
Twitter 算法开源究竟会是什么样的?
|
Web App开发 缓存 前端开发
Yahoo网站性能优化指南之内容篇
Yahoo!的Exceptional Performance团队为改善Web性能带来最佳实践。他们为此进行了一系列的实验、开发了各种工具、写了大量的文章和博客并在各种会议上参与探讨。最佳实践的核心就是旨在提高网站性能。
202 0
Yahoo网站性能优化指南之内容篇
|
存储 移动开发 监控
LinkedIn:用数据提高视频性能
LinkedIn通过在视频播放过程中收集的大量数据,对多种视频指标进行实验以提高视频性能,改善用户体验。本文来自LinkedIn工程博客,LiveVideoStack对文章进行了翻译。
230 0
LinkedIn:用数据提高视频性能
|
消息中间件 Java 开发工具