开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks有没有办法限制单个任务运行的cu资源?

DataWorks有没有办法限制单个任务运行的cu资源?

展开
收起
wenti 2023-03-13 14:40:31 197 0
2 条回答
写回答
取消 提交回答
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    DataWorks资源依赖于MaxCompute,可以在MaxCompute管家配置CU资源限制,另外在DataWorks扩展程序可以配置SQL任务的CU资源阈值,参考文档 image.png

    image.png

    2023-03-13 15:18:03
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    DataWorks中可以通过设置CU配额来限制单个任务运行时的资源。具体步骤如下:

    1. 登录DataWorks控制台,进入工作空间,并选择“资源配置”菜单。

    2. 进入“CU定价”页面,选择需要设置CU配额的项目,然后在“可用CU总量”一栏中填写可用的CU数量,同时可以设置每个项目中用户的CU最大配额。

    3. 在每个任务的配置中,可以设置该任务的CU最大配额,并限制该任务的最大CU资源使用量。

    4. 如果使用MaxCompute作为计算引擎,建议使用数据开发质量检查功能,该功能可以检查代码中是否使用了笛卡尔积等高资源消耗的算法,以便进一步优化数据任务的资源使用效率。

    设置CU配额可以防止一些任务使用过多的资源导致其他任务无法正常运行,从而保障任务的稳定性和效率。

    2023-03-13 15:09:02
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多