DataWorks不同优先级的节点是如何处理逻辑
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
假设节点1、2、3、4为上下游依赖关系,节点1和2在3级基线上,节点2和3和4的基线在8级基线上,节点1和2的优先级解释请参考以下。由于节点1和2在8级基线保障任务关键路径上,所以节点1、2、3、4的实例优先级都是8。
DataWorks上调度任务实例的优先级(数值越大,优先级越高。可理解为任务在项目中调度集群的优先级。“运维中心”-“实例属性”可查看。) 基线的优先级(取值[1,3,5,7,8],数值越大,优先级越高。) MaxCompute上SQL任务的优先级(取值[1-9],数值越小,优先级越高。后续会转化为priority参数。可理解为任务在计算集群上的优先级。LogView中可查看。) MaxCompute中Instance的优先级(数值越小,优先级越高。) 8级基线对应1级SQL任务,高优先级。 DataWorks上调度任务实例对应一个MaxCompute的Instance,但值相反。 一般来说,基线的优先级高意味着DataWorks上任务调度优先级和MaxCompute上SQL计算任务优先级都会高。 SQL任务优先级调整方式: 在执行SQL最前面加入:set odps.instance.priority=8;
基线优先级调整方式(默认1,包年包月的工作空间才可修改): 注意:基线优先级可以上推至odps计算任务优先级(也对应为instance的优先级),基线等级越高调度优先级越高,数值较高的基线将被优先调度。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。