《Storm企业级应用:实战、运维和调优》——3.6 Task任务

简介:

本节书摘来自华章计算机《Storm企业级应用:实战、运维和调优》一书中的第3章,第3.6节,作者:马延辉 陈书美 雷葆华著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.6 Task任务

Task是运行Spout或Bolt的单元,每一个Spout/Bolt的线程称为一个Task。
在Storm 0.8及之后的版本中,Task不再与物理线程对应,同一个Spout/Bolt的Task可能会共享一个物理线程,该线程称为Executor。
实际的数据处理由Task完成,在Topology的生命周期中,每个组件的Task数量不会变化,而Executor的数量却不一定。在一般情况下,线程数小于等于Task数量。默认Task的数量等于Executor线程数量,即一个Executor线程只运行一个Task。Executor线程在执行期间会调用该Task的nextTuple或execute方法。
每个Spout或Bolt都是通过集群中的许多任务来执行的。每个任务相当于一个执行线程,可以通过TopologyBuilder的setSpout方法和setBolt方法为每个Spout或Bolt设置并行数,即任务数。

相关文章
|
7月前
|
运维 Cloud Native Go
Ansible自动化:简化你的运维任务
Ansible自动化:简化你的运维任务
62 0
|
11天前
|
运维 DataWorks 关系型数据库
DataWorks产品使用合集之DataWorks中如何提升运维中心实时同步任务的运行速度
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
25 1
|
2月前
|
运维 监控 Linux
linux脚本自动化运维任务
Linux自动化运维通过脚本提升效率,涵盖服务管理(启停服务、异常恢复)、系统监控(资源警报)、日志管理(清理分析)、备份恢复、补丁更新、自动化部署(如Ansible)、网络管理、定时任务(cron)和故障排查。结合shell、Python及工具,形成高效运维体系。
29 3
|
5月前
|
运维 DataWorks 调度
DataWorks运维中心提供了下线节点、优雅下线和下线任务三种下线方式
DataWorks运维中心提供了下线节点、优雅下线和下线任务三种下线方式
89 2
|
7月前
|
运维 数据挖掘 BI
【Dataphin运维】解放双手,支持补数据任务定时调度和手动运行,轻松实现回刷历史数据
Datatphin V3.11版本全新上线补数据任务功能,支持将单次补数据保存为补数据任务,保存补数据节点范围及运行规则;支持补数据任务定时调度,自动定期回刷历史数据;支持手动运行补数据任务。满足企业复杂多样的回刷历史数据的需求,减少人工操作成本。
145 0
|
8月前
|
运维 DataWorks
DataWorks运维中心中的实时任务
DataWorks运维中心中的实时任务
74 1
|
12月前
|
SQL 运维 关系型数据库
带你读《全链路数据治理-全域数据集成》之31:5. 任务运维
带你读《全链路数据治理-全域数据集成》之31:5. 任务运维
149 0
|
12月前
|
分布式计算 运维 Java
带你读《全链路数据治理-全域数据集成》之36:5. 任务运维
带你读《全链路数据治理-全域数据集成》之36:5. 任务运维
159 0
|
运维
蓝鲸自动化运维平台批量创建任务并设置定时
蓝鲸自动化运维平台批量创建任务并设置定时 可以在作业平台进行配置 1.新建作业 1.1.进入作业平台
483 0
蓝鲸自动化运维平台批量创建任务并设置定时
|
Web App开发 监控 Linux
【云计算的1024种玩法】使用 DMS 只要一个浏览器轻松搞定运维任务
新手在学习云计算的时候,特别是 IaaS 类产品远程操作起码得下个三大件,SSH工具、SFTP工具和代码编辑器,一下就是三个软件而且还就有可能下城英文版,很多小伙伴或许到这一步就开始懵逼了。不过不要怕,阿里云有一个深藏功与名的强大产品——DMS(数据管理)
4435 0