开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks我只有一个补数任务为什么会报这个呢,平时都好好的,这个问题了是什么原因导致的 ?

DataWorks我只有一个补数任务为什么会报这个呢,平时都好好的,今天就出现这个问题了是什么原因导致的 ?image.png

展开
收起
真的很搞笑 2023-10-16 20:56:32 39 0
1 条回答
写回答
取消 提交回答
  • 补数据实例过多或并行数过高可能导致周期调度的资源紧张,请您根据需求合理配置。

    https://help.aliyun.com/zh/dataworks/user-guide/backfill-data-for-an-auto-triggered-node-and-view-data-backfill-instances-of-the-node?spm=a2c4g.11186623.0.i12
    注意事项
    当补一个区间的数据时,在启动补数据的第一天存在一个运行失败的实例,则当天的补数据实例会被置为失败状态,第二天的实例也不会启动运行(只有当天的全部任务实例都成功,第二天的任务实例才会开始运行)。

    小时或分钟任务补某一天数据时,当天所有实例是否并发执行与任务是否设置自依赖有关。

    如果周期实例和补数据实例均启动运行,为了保证周期实例的正常运行,您需要终止补数据实例的运行。

    补数据实例过多或并行数过高可能导致周期调度的资源紧张,请您根据需求合理配置。

    为避免补数据实例占用过多的资源而影响周期实例的运行,平台对补数据实例制定以下规则:

    如果补数据选择业务日期为昨天(T-1),即补当天数据时,补数据任务优先级由任务所在基线优先级决定。

    如果补数据选择业务日期为历史业务日期(T-2)时,补数据任务将按照以下规则对任务进行降级处理:

    7级、8级任务优先级降为3级。

    5级、3级任务优先级降为2级。

    1级任务优先级保持不变。

    2023-10-18 09:33:18
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多