DataWorks对于调度资源组来说,一个sql任务和一个数据集成同步任务来说,占的调度并发是一样的吗?都是1吗?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks中,SQL任务和数据集成同步任务的调度并发占用情况并不完全相同,具体分析如下:
SQL任务是通过调度资源组进行周期性调度执行的任务。每个SQL任务在调度时会占用一个调度实例,并且其调度并发数为1。这意味着,无论SQL任务的复杂程度如何,它在调度层面始终只占用一个调度并发。
数据集成同步任务的调度并发占用与SQL任务有所不同。根据知识库中的描述,数据集成离线同步任务通过调度资源组将其下发到数据集成任务执行资源组上执行。以下是关键点: - 数据集成同步任务的调度并发占用与其任务个数相关,而不是与配置的并发数相关。 - 每个数据集成同步任务在调度层面同样占用一个调度实例,因此其调度并发数也为1。
需要注意的是,虽然调度并发数为1,但数据集成同步任务的实际执行并发数(即任务运行时的线程数)可以通过配置进行调整,例如设置任务期望最大并发数
参数来控制任务执行时的并行度。然而,这并不会影响调度并发的占用。
无论是SQL任务还是数据集成同步任务,在调度资源组层面,它们的调度并发占用均为1。这是因为调度并发数仅与任务的调度实例数量相关,而与任务的具体类型或执行配置无关。
希望以上解答能够帮助您理解SQL任务和数据集成同步任务在调度资源组中的并发占用情况!
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。