开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中 job在2点半的时候跑是空的,现在跑有数据了,为什么啊,依赖都配上了,上游的?

DataWorks中 job在2点半的时候跑是空的,现在跑有数据了,为什么啊,依赖都配上了,上游的job也没有重跑?没有挂岔依赖 或者 少挂依赖了

展开
收起
cuicuicuic 2023-07-30 16:17:08 47 0
2 条回答
写回答
取消 提交回答
  • 如果在DataWorks中的作业(Job)在过去的某个时间点运行时是空的,但现在运行时有数据,可能有以下几个原因:

    1. 数据延迟:可能是由于源数据的生成或传输延迟导致的。在过去的运行时间点,源数据可能还未生成或未到达目标表。但是在当前时间点,数据已经准备好并可以被作业处理。

    2. 依赖任务执行延迟:即使你认为依赖关系都配置正确,但上游作业的执行可能存在延迟。如果上游作业在过去的时间点没有及时完成或重跑,可能会导致下游作业在该时间点运行时是空的。但是在当前时间点,上游作业已经完成,因此下游作业能够获取到数据。

    3. 配置错误:请检查作业的依赖关系是否正确配置。确保所有依赖的作业都已经正确挂岔,并且它们在需要的时间点成功运行。

    4. 数据源变更:如果源数据的结构或内容发生了变化,可能会导致作业在过去的时间点无法获取到数据。但在当前时间点,数据源已经更新并包含了所需的数据。

    建议进行以下操作来进一步排查问题:

    1. 检查作业的依赖关系:确保所有依赖的作业都正确配置,并在需要的时间点成功执行。检查上游作业是否有延迟或未完成的情况。

    2. 检查数据源和数据传输:确认数据源是否正常,并且数据能够按预期传输到目标表。确保数据的生成和传输没有延迟或中断。

    3. 检查作业日志和监控信息:查看作业的日志和监控信息,以了解作业在过去的运行时间点发生了什么情况。

    4. 联系DataWorks技术支持团队:如果问题仍然存在,建议联系DataWorks的技术支持团队,提供详细的作业配置、日志和监控信息,以便他们帮助进一步诊断和解决问题。

    希望以上解释对你有所帮助。如果还有其他问题,请随时提问。

    2023-07-31 14:04:05
    赞同 展开评论 打赏
  • 挂岔依赖 或者 少挂依赖了 自动调度的时候from的表数据还未产出 重跑的时候已经产出,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-30 16:31:54
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多