开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute我这个任务,优先级总是很低,我能怎样提高我的优先级么?

大数据计算MaxCompute我这个任务,优先级总是很低,现在一直在queueing 排不上队,我能怎样提高我的优先级么?9ced783783bff93ec2b406fff7a9f212.png

展开
收起
真的很搞笑 2023-10-20 19:03:01 97 0
5 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    对于MaxCompute任务的优先级,您可以在提交任务时通过设置参数来提高任务的优先级。具体来说,您可以使用set_priority()方法来设置任务的优先级,其中1表示最高优先级,5表示最低优先级。例如:

    from airtest.core.api import *
    
    # 设置任务优先级为3
    set_priority(3)
    
    # 执行其他操作...
    

    另外,您还可以考虑将任务拆分成多个子任务,并分别设置它们的优先级。这样可以让高优先级的任务优先执行,从而提高整个任务的执行效率。

    2023-10-22 21:00:02
    赞同 展开评论 打赏
  • 作业优先级
    https://help.aliyun.com/zh/maxcompute/user-guide/job-priority?spm=a2c4g.11186623.0.i21
    本文为您介绍MaxCompute的包年包月作业优先级功能,并提供开启、设置和查看作业优先级的操作指导。

    背景信息
    MaxCompute的包年包月计算资源有限,在实际数据开发过程中,系统需要优先保障重要作业的计算资源。例如,系统必须在06:00点前产出某些数据,则需要保障产出这些数据的一系列作业(工作流)能够在运行时优先抢占到计算资源。

    您可以通过MaxCompute设置使用包年包月计算资源Project的作业优先级,优先保障高优先级作业的计算资源。当高优先级作业启动时,可以抢占低优先级作业的计算资源。

    概述
    MaxCompute中的每个作业都有优先级(Priority),取值为0~9,数值越小,优先级越高。高优先级作业会先于低优先级作业获取计算资源。

    需要注意:

    MaxCompute只支持设置使用包年包月计算资源Project的作业优先级。

    当Project的作业优先级功能未开启时,除以下作业外,其他作业的默认优先级为9。

    PAI算法作业,默认优先级为1。

    开启优先级功能
    仅Project Owner或拥有Super_Administrator角色的用户可以执行如下命令打开优先级功能开关。

    setproject odps.instance.priority.enable=true;
    优先级功能开启后,使用包年包月计算资源Project的所有作业的优先级会立即生效。如果您设置的优先级不合理,可能导致作业排队混乱。

    2023-10-22 08:01:47
    赞同 展开评论 打赏
  • 在 MaxCompute 中,任务的优先级主要取决于以下几个因素:

    1. 任务的类型:某些类型的任务可能会有较高的优先级。
    2. 资源的分配:MaxCompute 会根据资源的可用性来调整任务的优先级。
    3. 用户的配额和限制:不同的用户可能有不同的资源配额和限制。

    要提高任务的优先级,可以尝试以下方法:

    1. 调整任务的类型:某些类型的任务可能会有较高的优先级,你可以尝试调整任务的类型,以提高其优先级。

    2. 增加资源配额:如果你的账户有足够的资源配额,可以尝试增加任务所需的资源配额,以提高任务的优先级。

    3. 联系管理员:如果你的账户没有足够的资源配额,或者有其他限制,可以联系 MaxCompute 的管理员,请求增加资源配额或调整限制。

    4. 分割任务:如果任务较大,可以尝试将任务分割成多个较小的任务,以提高任务的执行效率。

    需要注意的是,MaxCompute 的任务调度机制较为复杂,涉及多个因素,上述方法可能无法完全解决问题,需要根据实际情况进行调整。如果问题仍然无法解决,建议你查阅 MaxCompute 的官方文档,或联系阿里云的技术支持获取更多帮助。

    2023-10-21 23:06:37
    赞同 展开评论 打赏
  • 在MaxCompute中,任务的优先级是由系统根据任务的类型、状态、执行时间等因素自动分配的。如果你发现你的任务优先级较低,可能是因为你的任务类型、状态或者执行时间等因素影响了系统的判断。以下是一些可能的解决方案:

    1. 调整任务类型:如果你的任务是ETL(Extract, Transform, Load)类型的任务,那么它的优先级通常会比DW(Data Warehouse)类型的任务低。你可以尝试将你的任务类型调整为DW,以提高任务的优先级。

    2. 手动调度任务:你可以通过调用API或者使用ODPS Console来手动调度你的任务。这样可以确保你的任务在队列中的位置靠前,从而提高任务的优先级。

    3. 修改任务的执行时间:如果你的任务是在业务低峰期执行的,那么它可能会被系统认为是不重要的任务,从而降低其优先级。你可以尝试修改任务的执行时间,使其在业务高峰期执行。

    4. 增加任务的依赖任务:如果你的任务没有依赖任务,那么它可能会被系统认为是不重要的任务,从而降低其优先级。你可以尝试为你的任务添加一些依赖任务,以提高任务的优先级。

    2023-10-21 16:23:56
    赞同 1 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载