《Storm企业级应用:实战、运维和调优》——2.5 本章小结

简介:

本节书摘来自华章计算机《Storm企业级应用:实战、运维和调优》一书中的第2章,第2.5节,作者:马延辉 陈书美 雷葆华著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.5 本章小结

在Storm中使用ZooKeeper主要用于完成Storm集群各节点的分布式协调工作,一是存储客户端提供的Topology任务信息,Nimbus负责将任务分配信息写入ZooKeeper,Supervisor从ZooKeeper上读取任务分配信息;二是存储Supervisor和Worker的心跳(包括它们的状态),使得Nimbus可以监控整个集群的状态,从而重启一些挂掉的Worker;三是存储整个集群的所有状态信息和配置信息。由于ZooKeeper在Storm集群中的重要性,本章详细介绍了ZooKeeper的安装。
Storm使用ZeroMQ传送消息,这就消除了中间的排队过程,使得消息能够直接在任务自身之间流动。在消息的背后,是一种用于序列化和反序列化Storm的原语类型的自动化且高效的机制。Storm使用ZooKeeper协调集群时,由于ZooKeeper并不用于传递消息,所以Storm给ZooKeeper带来的压力相当低。大多数情况下,单个节点的ZooKeeper集群足够胜任,不过为了确保故障恢复或者部署大规模Storm集群,可能需要更大规模节点的ZooKeeper集群。

相关文章
|
SQL 存储 关系型数据库
添加数据到数据库的SQL语句详解与实践技巧
在数据库管理中,添加数据是一个基本操作,它涉及到向表中插入新的记录
2037 4
|
缓存 Cloud Native 区块链
重塑链上数据索引,Chainbase 云原生 Subgraph 解析
Subgraph 是 The Graph 去中心化应用索引协议的具体实现, 能为各个智能合约创建索引引擎,提供 dataset 数据集供开发者快速查询使用。目前,Chainbase 正式上线并托管的核心 dataset subgraph 数量已经超过 100+。
902 0
重塑链上数据索引,Chainbase 云原生 Subgraph 解析
|
8月前
|
存储 人工智能 运维
|
10月前
|
数据采集 自然语言处理 监控
《一文破解!自然语言处理论文实验复现秘籍》
在自然语言处理(NLP)领域,复现学术论文实验是将理论转化为实践的关键。前期需深入研读论文、收集数据与代码资源;搭建环境时要配置开发工具和预处理数据;模型训练中注重架构实现、优化器选择及训练监控;最后通过评估指标、结果对比与可视化分析确保复现成功。这一过程不仅验证研究成果,还提升技术能力,推动NLP领域的发展。
335 16
|
8月前
|
安全 Java 数据安全/隐私保护
深入探讨 Spring Security 中的 DSL 设计
本文深入解析了 Spring Security 中的 DSL(领域特定语言)设计,探讨其在安全规则定义中的应用。文章首先介绍了 DSL 的基本概念及其分类,随后分析了 Spring Security 中配置 DSL、表达式 DSL 和用户构建 DSL 的实现与优势。这些 DSL 不仅简化了复杂安全规则的配置,还提升了代码的可读性和开发效率。最后,文章总结了 DSL 在降低复杂性、增强灵活性和适配复杂场景中的重要作用,为开发者提供了学习和实践的方向。
266 0
|
10月前
|
API 数据安全/隐私保护 开发者
alibaba阿里巴巴国国际站商品详情数据示例参考
阿里巴巴国际站商品详情数据包含了丰富的商品信息,以下是一个示例参考,展示了通过调用阿里巴巴国际站的API接口(如item_get)可以获取到的商品详情数据:
|
存储 SQL 安全
一文读懂 Mysql MVCC
MVCC(Multi-Version Concurrency Control)是一种**多版本并发控制**技术,常用于数据库管理系统中,用于支持事务的并发执行。MVCC 技术可以在读取数据时不产生锁,同时保证数据的一致性。具体来说,MVCC 技术会在每个数据行上保存多个版本的数据,每个版本都有一个时间戳,当一个事务需要读取数据时,会根据该事务的时间戳选择合适的数据版本进行读取,从而避免了读取数据时的锁定操作。同时,MVCC 技术还可以通过回滚日志和垃圾回收机制来保证数据的一致性和完整性。MVCC 技术在 InnoDB 存储引擎中得到了广泛的应用,成为了 InnoDB 存储引擎的一个重要特性
1260 1
一文读懂 Mysql MVCC
|
存储 SQL 关系型数据库
MySQL MVCC多版本并发控制(脏读和不可重复读解决原理)
MySQL MVCC多版本并发控制(脏读和不可重复读解决原理)
820 0
MySQL MVCC多版本并发控制(脏读和不可重复读解决原理)
|
人工智能 自然语言处理 JavaScript
OpenAI GPT-3模型详解
针对文本生成和代码生成这两大类场景,OpenAPI分别提供了GPT-3和Codex模型,本文将为大家详细介绍这两个模型。
2354 0
OpenAI GPT-3模型详解