聊聊JStorm的最佳实践-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

聊聊JStorm的最佳实践

爵霸 2017-04-24 15:37:30 4197
在3月1日 首届阿里开源峰会上 ,阿里巴巴中间件技术专家 卫乐 将为大家分享JStorm的相关话题。


JStorm是阿里基于Storm开发的纯Java的实时计算框架,自开源以来历经了多个版本的更新和演化,目前也是阿里巴巴集团内部重要的实时计算框架之一。本次在阿里开源峰会上,卫乐分享的内容主要涵盖JStorm在阿里内部的使用场景、版本/功能演进,以及一些开发、部署、运维上的最佳实践。
先在普及一下Alibaba JStorm的概念
Alibaba JStorm 是一个强大的企业级流式计算引擎,是Apache Storm 的4倍性能, 可以自由切换行模式或mini-batch 模式,JStorm 不仅提供一个流式计算引擎, 还提供实时计算的完整解决方案, 涉及到更多的组件, 如jstorm-on-yarn, jstorm-on-docker, SQL Engine, Exactly-Once Framework 等等。


应用场景
JStorm处理数据的方式是基于消息的流水线处理, 因此特别适合无状态计算,也就是计算单元的依赖的数据全部在接受的消息中可以找到, 并且最好一个数据流不依赖另外一个数据流。因此,常常用于:·日志分析,从日志中分析出特定的数据,并将分析的结果存入外部存储器如数据库。目前,主流日志分析技术就使用JStorm或Storm·管道系统, 将一个数据从一个系统传输到另外一个系统, 比如将数据库同步到Hadoop·消息转化器, 将接受到的消息按照某种格式进行转化,存储到另外一个系统如消息中间件·统计分析器, 从日志或消息中,提炼出某个字段,然后做count或sum计算,最后将统计值存入外部存储器。··中间处理过程可能更复杂。·实时推荐系统, 将推荐算法运行在jstorm中,达到秒级的推荐效果有一篇相关文章大家可详细了解——《CentOS 6.8 实战部署JStorm集群》
那么就跟大家聊一聊
你是否使用过或正在使用JStorm?
使用的应用场景是什么?使用中的问题或是心得?
亦或是你的日志分析、管道系统、消息转化器、统计分析器是用什么技术实现的,优势与瓶颈是什么?
欢迎大家一起来聊,卫乐将在话题中与大家进行交流,对于使用反馈或忙得分享的经典回复我们将进行奖励。
今天我们聊一聊聊聊JStorm的最佳实践
以下是网友热议内容:
来自云栖网友观点:似水的流年
jstorm反应速度快,降低了运维成本,对于处理器,内存,网络等能动态调度非常的棒,而且性能很好。
来自云栖网友观点:muji318
1.主要用jstorm来做实时消息处理,jstorm的输入输出均为kafka,jstorm实时处理结果用于索引的实时更新。2.相比storm,jstorm更加稳定,性能更高。3.运维和问题排查:-web监控页面对于把握整体实时消息处理很方便;
-spout和bolt是链式连接,一个节点有问题,会影响上游下游节点。碰到问题时,要排查整条链路各节点的状态,而不是只盯着出现问题的节点;
来自云栖网友观点:豪dennis
最爽的是Jstorm完全兼容storm的编程模型,内核全部使用Java来编写,除了内核使用Java编写这个优势之外,Jstorm对比storm在性能上也有一定的优势,此外它还提供了资源隔离和类似于Heron之类的反压力机制,所以能够更好的处理消息拥塞的这种情况
来自云栖网友观点:1298888942152031
我觉得Jstorm对比storm在性能上也有一定的优势,此外它还提供了资源隔离和类似于Heron之类的反压力机制,所以能够更好的处理消息拥塞的这种情况。
来自云栖网友观点:浮生递归
之前从日志里提取字段做统计分析的时候,并没有采用实时计算框架。所以稍微有点数据量,反应就非常慢,慢到半天出不来,客户也因此而非常不满意。知道了JStorm后,可以尝试这种高效的实施计算框架。而且除了统计分析外,还有这么多高频的应用场景,优势非常明显。期待投入时候后让客户有全新的体验。客户的口碑就是我们的竞争力。感谢楼主
原文链接





jstorm 消息中间件 SQL 运维 监控 搜索推荐 Java 数据库 数据中心 流计算
分享到
取消 提交回答
全部回答(0)
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题
推荐课程