Jstorm vs Storm

简介: Jstorm 是由Storm演化而来,在架构和实现上都有很大的相似度,并且沿用了Storm的编程接口,Storm的程序在很多版本上,可以无缝迁移到Jstorm。整体上说,Jstorm更稳定,灵活性更高,性能更高。

Jstorm 是由Storm演化而来,在架构和实现上都有很大的相似度,并且沿用了Storm的编程接口,Storm的程序在很多版本上,可以无缝迁移到Jstorm。整体上说,Jstorm更稳定,灵活性更高,性能更高。

  • Jstorm Nimbus 实现HA
    当一台nimbus挂了,自动热切到备份nimbus
  • 彻底解决Storm雪崩问题
    底层RPC 采用netty + disruptor,保证发送速度和接受速度是匹配的
  • rebalance
    Storm采取的策略更自动化,可能会影响稳定性。而Jstorm则采取更稳定的策略,在下面的情况发生时,都不会rebalance,可以手动relanbance
1. 添加supervisor时, 会触发任务rebalance
 2. Supervisor shutdown时, 触发任务rebalance
 3. 提交新任务时,当worker数不够时,触发其他任务做rebalance
  • Jstorm调度策略更稳定
    当新拓扑提交时,Jstorm不会去抢占老任务占用的资源cpu,memory,disk,net。
  • Jstorm减少对ZK的访问量
    去掉大量无用的watch,task的心跳时间延长一倍,Task心跳检测无需全ZK扫描
  • Jstorm调度更强大
    可以从4个维度对任务进行资源分配,CPU,Memory,Disk,Net。需要开启Cgroups,具体http://blog.csdn.net/zengqiang1/article/details/78451307
  • Jstorm默认一个task,一个cpu slot,当task消耗更多的cpu时,可以申请更多cpu slot
  • Jstorm 默认task,不申请disk slot,当task 磁盘IO较重时,可以申请disk slot
  • Jstorm可以强制某个component的task 运行在不同的节点上
  • Jstorm 可以强制topology运行在单独一个节点上
  • Jstorm可以自定义任务分配
    提前预约任务分配到哪台机器上,哪个端口,多少个cpu slot,多少内存,是否申请磁盘
  • JstormWorker 内部全流水线模式,Spout nextTuple和ack/fail运行在不同线程
    nextTuple中 做sleep和wait操作不会block ack/fail 动作
  • Jstorm底层使用ZeroMq, 比storm快30%
  • Jstorm底层使用netty时, 和storm快10%,并且稳定非常多

Jstorm 为什么性能更好

  • Zeromq 减少一次内存拷贝
  • 增加反序列化线程
  • 重写采样代码,大幅减少采样影响
  • 优化ack代码
  • 优化缓冲map性能
  • Java 比clojure更底层

作者:glowd
原文:https://blog.csdn.net/zengqiang1/article/details/78448694
版权声明:本文为博主原创文章,转载请附上博文链接!

相关文章
|
算法 索引
阿里云 Elasticsearch 使用 RRF 混排优化语义查询结果对比
Elasticsearch 从8.8版本开始,新增 RRF,支持对多种不同方式召回的多个结果集进行综合再排序,返回最终的排序结果。之前 Elasticsearch 已经分别支持基于 BM25 的相关性排序和向量相似度的召回排序,通过 RRF 可以对这两者的结果进行综合排序,可以提升排序的准确性。
4093 0
|
Shell Linux C语言
【Shell 命令集合 文档编辑 】Linux 递归搜索指定字符串 rgrep命令使用指南
【Shell 命令集合 文档编辑 】Linux 递归搜索指定字符串 rgrep命令使用指南
650 0
|
6月前
|
SQL 存储 分布式计算
「DuckDB-Paimon实操」6分钟上手,数据湖分析快人一步
DuckDB-paimon 是 PolarDB 团队开发的 DuckDB 扩展,支持直接查询 Apache Paimon 数据湖表,无需 ETL 或 Flink/Spark 集群。具备 OSS 远程存储、列裁剪下推、Catalog 挂载及跨格式联邦查询能力,实现秒级即席分析与轻量数据验证。
352 2
Linux:nohup、&、 2>&1、/dev/null
Linux:nohup、&、 2>&1、/dev/null
|
10月前
|
机器学习/深度学习 搜索推荐 算法
广告系统:广告引擎如何做到在 0.1s 内返回广告信息?
广告系统是互联网核心营收支柱,支撑Google、Facebook等公司超80%收入。其本质是高并发、低延迟的实时检索系统,需在0.1秒内完成百万级广告匹配。本文详解广告引擎架构:通过标签过滤、树形分片优化索引;引入向量检索实现智能匹配;采用非精准打分预筛+深度学习精排的混合排序策略;并在离线索引构建时前置过滤无效广告,压缩检索空间。结合业务特点,从索引、召回到排序全方位提升性能,保障高效精准投放。
|
8月前
|
人工智能 JavaScript 机器人
OpenClaw阿里云+Windows本地部署保姆级教程:零门槛配置MaxClaw飞书机器人,10分钟解锁自动化
2026年,AI代理工具OpenClaw(原Clawdbot)的生态持续扩容,MiniMax推出的云端版MaxClaw更是颠覆了传统部署模式——无需购买服务器、配置API Key,仅需基础订阅即可快速接入飞书,让普通用户也能10分钟拥有专属AI机器人。但对于需要自定义配置、数据私有化的用户,阿里云部署与Windows本地部署仍是更优选择。
3651 6
|
存储 分布式计算 数据库
数据湖技术选型指南:Iceberg vs Delta Lake vs Paimon
对比当前最主流的三种开源湖格式:Iceberg、Delta Lake 和 Paimon,深入分析它们的差异,帮助大家更好地进行技术选型。
2016 4
|
存储 分布式数据库 Apache
小米基于 Apache Paimon 的流式湖仓实践
本文整理自Flink Forward Asia 2024流式湖仓专场分享,由计算平台软件研发工程师钟宇江主讲。内容涵盖三部分:1)背景介绍,分析当前实时湖仓架构(如Flink + Talos + Iceberg)的痛点,包括高成本、复杂性和存储冗余;2)基于Paimon构建近实时数据湖仓,介绍其LSM存储结构及应用场景,如Partial-Update和Streaming Upsert,显著降低计算和存储成本,简化架构;3)未来展望,探讨Paimon在流计算中的进一步应用及自动化维护服务的建设。
1162 0
小米基于 Apache Paimon 的流式湖仓实践
|
消息中间件 NoSQL Kafka
Flink教程(21)- Flink高级特性(End-to-End Exactly-Once)(下)
Flink教程(21)- Flink高级特性(End-to-End Exactly-Once)(下)
688 0
Flink教程(21)- Flink高级特性(End-to-End Exactly-Once)(下)
|
语音技术 传感器
51单片机智能小车(循迹、跟随、避障、测速、蓝牙、wifie、4g、语音识别)总结-1
51单片机智能小车(循迹、跟随、避障、测速、蓝牙、wifie、4g、语音识别)总结-1
51单片机智能小车(循迹、跟随、避障、测速、蓝牙、wifie、4g、语音识别)总结-1

热门文章

最新文章