开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks这个是hardcode写死5分钟的吗?

dataworks中跑批基线的关键路径的甘特图的近期均值都为5分钟,反映不了节点的实际执行时长,这个是hardcode写死5分钟的吗?这些节点正常执行时长为10分钟,已经跑了好多天,但是看基线中的节点预测,还是5分钟,甘特图的近期均值也一直是5分钟,与实际不符?image.png

展开
收起
真的很搞笑 2023-12-03 17:27:14 38 0
3 条回答
写回答
取消 提交回答
  • 您好,DataWorks的智能基线是系统根据历史运行情况进行预测的一种功能,主要用来预估任务的完成时间。关键路径甘特图则通过图形化展示基线实例中的任务运行状态和其使用的时间,有助于了解基线实例的完成进度和关键任务,方便进行计划和资源分配。

    关于您提到的甘特图近期均值都为5分钟的问题,这个数值并非固定不变的。实际上,这个时长是由系统根据历史运行情况计算出的一个预期值,而并非硬编码写入的。如果实际执行时长与预测存在较大偏差,可能是因为系统未能准确捕捉到某些特定任务的运行特性或者运行环境发生了变化。

    为了解决这个问题,建议您可以尝试重新配置基线,确保其更加准确地反映任务的实际运行状况。同时,也可以通过调整基线的预警余量来预留一定的时间处理异常,使系统能够更准确地判断任务能否在预警时间前成功运行。

    2023-12-04 17:38:13
    赞同 展开评论 打赏
  • image.png
    点进任务A ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-03 23:38:28
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,基线任务的预计完成时间是基于任务历史一段时间内的平均完成时间计算出来的。当基线任务的预计完成时间晚于基线预警时间时,系统会触发基线预警。这个预计的时间并不是固定不变的,而是会根据任务的历史执行情况进行动态调整。

    任务的实际运行时间与节点依赖的上游节点的定时时间有关,即使当前节点的定时时间早于上游节点,当前节点也需等待上游节点的定时时间到来并且执行成功后,当前节点才会执行。此外,任务的执行还受到执行资源的影响,如果任务执行时间点没有足够的资源,也会延迟任务的执行。

    2023-12-03 17:48:43
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载