JStorm,让大规模流处理成为可能

简介: 本文PPT来自资深专家封仲淹于10月16日在2016年杭州云栖大会上发表的《Large-Scale Stream Processing inside Alibaba》。

本文PPT来自资深专家封仲淹于10月16日在2016年杭州云栖大会上发表的《Large-Scale Stream Processing inside Alibaba》。

JStorm 是阿里巴巴基于storm采用Java重写的一套开源的分布式实时流计算框架,其诞生于2013年,经历多次迭代,至今已经发布25了版本。总体而言,JStorm具有高性能、高稳定性,适于大规模部署这些特点,其他的用户方的特色功能包括用户自定义的调度器和资源用法、先进的日志机制、更细粒度的Metrics、动态规模调整和快速的应用升级等等。

目前,JStorm运行在超过4000台机器上,它不仅能单独部署,也实现了JStorm-on-yarn和JStorm-on-docker,使JStorm能够被部署在框架上。这些集群共形成了超过1500个应用和2000余个拓扑结构,每天产生的数据超过惊人的2PB。在实际运用中,JStorm有许多应用场景,如欺诈检测、广告审核、数据统计、系统监控、数据传输、实时推荐和应用调度等,除了供阿里自身使用,JStorm还被众安保险、科大迅飞、网宿科技等超过50家公司使用。未来,JStorm将支持Apache Beam,并努力成为一个强大的高级语言框架,使其更容易学习和调试,提供更大的吞吐量。

最后关于JStorm和Storm的区别,阿里的JStorm不仅仅是Storm的简单包装,更重要的是JStorm意味着一个流处理生态系统,一个企业级的Java Storm,并且比Storm更快、更稳定、特性也更多。

eb9732e3e1083f70d1fe5c6d71b944b951070db7

27f5ae8c6dcaff65372bafd4820fb60d8166c83e

bab74a8a17b0b51265f7bbe3579e074c09e6a02b

eb869cb2bf1c1b1341a014d5c26a152a036f9bd9

59d4cd568a9d348e369bf1590593778956d71ec3

832e9e70129877522a9ee7de18ee22126b9d086d

282a606667b6fea5506fe67d720dffe4505058ad

b87dff381ddbbf35a68012d708df360dddcb5c49

b47074b2fa83e51a2ad5a9324ae3a8312931c8ef

c381c0310d107cc457dd8249abb9cf57f157fac2

d9fd5028f4e98558cb3918400f64fcf59fcc43fa

2f9259b9e715baf2c742dded59dafe355ceb0b67

a0020a8712388973a956a4f16e56941c4eeaf35b


相关文章
|
fastjson
fastjson设置指定日期属性的格式化
fastjson默认将时间格式化为时间戳,如果我们想以时间字符串格式输出的话,暂提供两种方式 1.序列化器方式 声明DateJsonSerializer public class DateJsonSerializer implements Object...
7310 1
|
网络协议 应用服务中间件 Linux
|
10月前
|
人工智能 运维 安全
网络安全公司推荐:F5荣膺IDC全球Web应用与API防护领导者
网络安全公司推荐:F5荣膺IDC全球Web应用与API防护领导者
275 4
|
JavaScript
webpack学习三:webpack初始化整合配置vue,一步一步的抽离代码块整合vue。
这篇文章是关于如何在webpack环境中配置Vue.js,包括安装Vue.js、解决报错、理解el与template的区别、使用SPA模式、抽离模板为对象、封装为单独的js文件、安装vue-loader时遇到的问题及解决方案,以及整个过程的总结。
369 2
webpack学习三:webpack初始化整合配置vue,一步一步的抽离代码块整合vue。
|
域名解析 JavaScript 网络协议
Vue框架中根据域名获取租户ID的方法
通过上述方法,Vue应用可以根据域名动态获取租户ID,进而实现根据不同租户展示定制化信息的多租户系统功能。这种技术不仅增加了应用的灵活性,也提升了用户体验。
376 2
|
JavaScript Java 测试技术
基于springboot+vue.js+uniapp小程序的校园求职招聘系统附带文章源码部署视频讲解等
基于springboot+vue.js+uniapp小程序的校园求职招聘系统附带文章源码部署视频讲解等
235 14
|
网络协议 Java API
TCP/IP协议以及UDP(超详细,看这一篇就够了)
TCP/IP协议以及UDP(超详细,看这一篇就够了)
1109 0
|
开发工具 iOS开发
升级Xcode 10后遇到的问题
升级Xcode 10后遇到的问题
476 0
|
存储 缓存 C语言
FIFO基础知识
本文介绍了什么是FIFO,FIFO的用途、功能和重要参数。最后,利用C语言数组实现了FIFO,给出了详细的程序设计。
1304 0
|
安全 网络安全
配置SSH服务远程连接空闲超时退出时间
配置SSH服务远程连接空闲超时退出时间