DataWorks不同优先级的节点是如何处理逻辑

已解决

DataWorks不同优先级的节点是如何处理逻辑

展开
收起
阿里云服务支持 2022-12-14 10:52:44 398 分享 版权
2 条回答
写回答
取消 提交回答
  • 推荐回答
    官方回答

    假设节点1、2、3、4为上下游依赖关系,节点1和2在3级基线上,节点2和3和4的基线在8级基线上,节点1和2的优先级解释请参考以下。由于节点1和2在8级基线保障任务关键路径上,所以节点1、2、3、4的实例优先级都是8。

    image.png

    2022-12-14 11:01:06
    赞同 1 展开评论
  • 十年摸盘键,代码未曾试。 今日码示君,谁有上云事。

    DataWorks上调度任务实例的优先级(数值越大,优先级越高。可理解为任务在项目中调度集群的优先级。“运维中心”-“实例属性”可查看。) 基线的优先级(取值[1,3,5,7,8],数值越大,优先级越高。) MaxCompute上SQL任务的优先级(取值[1-9],数值越小,优先级越高。后续会转化为priority参数。可理解为任务在计算集群上的优先级。LogView中可查看。) MaxCompute中Instance的优先级(数值越小,优先级越高。) 8级基线对应1级SQL任务,高优先级。 DataWorks上调度任务实例对应一个MaxCompute的Instance,但值相反。 一般来说,基线的优先级高意味着DataWorks上任务调度优先级和MaxCompute上SQL计算任务优先级都会高。 SQL任务优先级调整方式: 在执行SQL最前面加入:set odps.instance.priority=8;

    基线优先级调整方式(默认1,包年包月的工作空间才可修改): 注意:基线优先级可以上推至odps计算任务优先级(也对应为instance的优先级),基线等级越高调度优先级越高,数值较高的基线将被优先调度。

    2022-12-14 10:56:16
    赞同 1 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
还有其他疑问?
咨询AI助理