开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks在2024-01-13号 ODPS Script有做什么运行资源调整吗?

DataWorks在2024-01-13号 ODPS Script有做什么运行资源调整吗,我这边发现很多ODPS Script 脚本(逻辑没有调整,数据量也没有激增)在 13 ~ 15号运行时长普遍变成之前运行时长的四五倍?image.png

展开
收起
cuicuicuic 2024-01-21 11:20:22 41 0
3 条回答
写回答
取消 提交回答
  • 打开logview看下 是不是实际执行耗时久 如果是的话 可以把logveiw发给maxcompute同学帮忙看一下 在群公告可以找到 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-01-22 08:41:52
    赞同 展开评论 打赏
  • 这需要根据阿里云官方届时的具体公告和计划。建议您在接近该日期时关注阿里云官方网站

    2024-01-21 19:15:27
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    对于您提到的ODPS Script在2024-01-13号运行时长明显增加的问题,我没有找到具体的资源调整记录。但DataWorks确实提供了一些关于ODPS任务资源配置的参数可以调整,例如:

    1. 可以设置处理Map Task每个Instance的CPU数目,范围通常在[50,800]之间。
    2. 可以设定Map Task每个Instance的Memory大小,单位为M,默认是1024M,范围通常在[256,12288]之间。
    3. 对于有Writer Dumps的Map阶段的Instance,可以适当增加内存大小,从而减少Dumps所花的时间。

    这些参数的调整可能会影响到任务的执行时长。您可以根据实际的业务需求,合理调整这些配置参数。同时,建议您检查DataWorks的调度配置,确保任务调度时的参数转换是正确的。如果参数值不符合预期,可以根据业务需求及时调整调度配置,以免影响任务的正常调度运行。

    2024-01-21 13:48:16
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载