《Storm企业级应用:实战、运维和调优》——3.8 Worker、Task、Executor三者之间的关系

简介:

本节书摘来自华章计算机《Storm企业级应用:实战、运维和调优》一书中的第3章,第3.8节,作者:马延辉 陈书美 雷葆华著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.8 Worker、Task、Executor三者之间的关系

Storm集群中的一个物理节点启动一个或者多个Worker进程,集群的Topology都是通过这些Worker进程运行的。然而,Worker进程中又会运行一个或者多个Executor线程,每个Executor线程只运行一个Topology的一个组件(Spout或Bolt)的Task任务,Task又是数据处理的实体单元。Worker是进程,Executor对应于线程,Spout或Bolt是一个个的Task;同一个Worker只执行同一个Topology相关的Task;在同一个Executor中可以执行多个同类型的Task,即在同一个Executor中,要么全部是Bolt类的Task,要么全部是Spout类的Task;在运行时,Spout和Bolt需要包装成一个又一个Task。Worker、Task、Executor之间的关系如图3-17所示。

image

相关文章
|
Java Unix Shell
苹果app代码行数统计
苹果app代码行数统计
224 1
|
存储 缓存 负载均衡
CC攻击解析与防御策略
CC攻击是DDoS的一种,利用代理服务器向目标发送大量合法请求,消耗服务器资源。识别特征包括命令行大量"SYN_RECEIVED"连接、IP批量异常连接和日志中异常访问模式。防御策略包括提升服务器性能、数据缓存优化、页面静态化、请求速率限制、IP访问限制及使用CDN。专业高防产品提供智能识别和响应,帮助企业构建全面防御体系。
916 2
|
机器学习/深度学习 自然语言处理 PyTorch
CopyNet、SeqGAN、BERTSUM…你都掌握了吗?一文总结文本摘要必备经典模型(一)
CopyNet、SeqGAN、BERTSUM…你都掌握了吗?一文总结文本摘要必备经典模型(一)
354 0
|
存储 关系型数据库 MySQL
MySQL之char、varchar类型简析
MySQL之char、varchar类型简析
763 0
MySQL之char、varchar类型简析
|
存储 JavaScript Oracle
探究 Java 应用的启动速度优化
Java 的执行效率非常高,约为最快的C语言的一半。这在主流的编程语言中,仅次于C、Rust 和 C++。但在高性能的背后,Java 的启动性能差也令人印象深刻,大家印象中的 Java 笨重缓慢的印象也大多来源于此。高性能和快启动速度似乎有一些相悖,本文将和大家一起探究两者是否可以兼得。
探究 Java 应用的启动速度优化
|
Web App开发 算法 安全
详细讲解https证书openssl公钥私钥以及ssh公钥私钥的生成以及使用
详细讲解https证书openssl公钥私钥以及ssh公钥私钥的生成以及使用
1429 0
详细讲解https证书openssl公钥私钥以及ssh公钥私钥的生成以及使用
|
安全 网络协议 区块链
ENS 域名终极指南
以太坊域名服务是目前以太坊上最受欢迎的项目之一,这是有充分理由的。正如官方网站所介绍,“ENS 提供了一种安全且去中心化的方式,使用简单、人类可读的名称来处理区块链内外的资源。”
712 0
ENS 域名终极指南
|
存储 安全 应用服务中间件
Sentry 企业级数据安全解决方案 - Relay 操作指南
Sentry 企业级数据安全解决方案 - Relay 操作指南
493 0
方法:号码如何批量导入苹果手机通讯录?
操作一:在电脑上打开软件,金芝号码提取导入助手。然后你把你的号码复制过来,放进软件的“导入通讯录”功能。操作二:选择“生成通讯录”,会得到一个文件,你把文件存放到电脑桌面。操作三:最后你再把电脑桌面上的文件,通过电脑上的薇xin或电脑Q,发送给你的手机徽信或者手机扣扣,在苹果手机上打开它,即可把号码批量导入苹果手机通讯录。
方法:号码如何批量导入苹果手机通讯录?
|
前端开发 JavaScript API
微信拍一拍效果的原理分析及代码实现
微信拍一拍功能上线之后,其用户评价褒贬不一,这里我们不去凑热闹讨论这个功能的应用场景是否真的如部分网友说的毫无卵用,毕竟这是产品经理们应该考虑的事,但我相信作为国民级别的应用软件,其每次更新都肯定是无比谨慎的
微信拍一拍效果的原理分析及代码实现