《Storm企业级应用:实战、运维和调优》——2.5 本章小结

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介:

本节书摘来自华章计算机《Storm企业级应用:实战、运维和调优》一书中的第2章,第2.5节,作者:马延辉 陈书美 雷葆华著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.5 本章小结

在Storm中使用ZooKeeper主要用于完成Storm集群各节点的分布式协调工作,一是存储客户端提供的Topology任务信息,Nimbus负责将任务分配信息写入ZooKeeper,Supervisor从ZooKeeper上读取任务分配信息;二是存储Supervisor和Worker的心跳(包括它们的状态),使得Nimbus可以监控整个集群的状态,从而重启一些挂掉的Worker;三是存储整个集群的所有状态信息和配置信息。由于ZooKeeper在Storm集群中的重要性,本章详细介绍了ZooKeeper的安装。
Storm使用ZeroMQ传送消息,这就消除了中间的排队过程,使得消息能够直接在任务自身之间流动。在消息的背后,是一种用于序列化和反序列化Storm的原语类型的自动化且高效的机制。Storm使用ZooKeeper协调集群时,由于ZooKeeper并不用于传递消息,所以Storm给ZooKeeper带来的压力相当低。大多数情况下,单个节点的ZooKeeper集群足够胜任,不过为了确保故障恢复或者部署大规模Storm集群,可能需要更大规模节点的ZooKeeper集群。

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
资源调度 Kubernetes Cloud Native
资源调度的最佳实践|学习笔记
快速学习资源调度的最佳实践
640 0
资源调度的最佳实践|学习笔记
|
分布式计算 大数据 Hadoop
《Storm企业级应用:实战、运维和调优》——导读
大数据是继云计算、物联网之后IT行业又一大颠覆性的技术变革。之前大数据在互联网、军事、金融、通信和物理学等领域已有不少落地案例,却因为近年来Hadoop技术的快速发展而引起业界广泛关注。可以说,Hadoop目前是大数据处理的关键技术,也是迄今为止,最成熟、应用最广泛的技术。
1169 0
下一篇
无影云桌面