开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks为什么这个依赖关系图和内部血缘图都是空的呢?

DataWorks为什么这个依赖关系图和内部血缘图都是空的呢?image.png

展开
收起
真的很搞笑 2023-12-10 20:05:24 47 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks的依赖关系图和内部血缘图可能为空的原因有多种。首先,这可能是因为任务配置中没有指定输入输出表或调度参数,或者指定的表不存在或无法读取。其次,当节点代码中使用SELECT语句查询非周期性调度生产的表数据时,平台无法自动监控这些依赖关系,因此您需要手动删除通过SELECT自动生成的依赖的上游节点配置。

    此外,DataWorks还支持三种跨周期依赖形式:一层子节点、本节点和自定义节点依赖。这三种依赖形式分别对应不同的业务场景,比如任务运行依赖上一周期下游节点对本节点的结果表进行清洗的最终结果,或者本次任务运行依赖上一周期该任务的业务数据的产出情况等。如果任务的配置不符合这三种依赖形式,也可能导致依赖关系图和内部血缘图为空。

    2023-12-10 21:54:03
    赞同 1 展开评论 打赏
  • 如果 DataWorks 中的依赖关系图和内部血缘图显示为空,可能是由于以下原因之一:

    1. 任务尚未执行:依赖关系图和内部血缘图需要基于任务的实际执行来生成。如果任务还没有被触发执行或者没有成功完成执行,那么这些图表将会显示为空。请确保任务已经按照预期触发并成功执行,然后再查看图表。

    2. 依赖关系配置不正确:依赖关系图和内部血缘图需要正确配置任务之间的依赖关系才能生成。请确保您的任务之间已经正确设置了依赖关系,确保上游任务的输出作为下游任务的输入。

      • 在 DataWorks 的任务配置中,可以通过 "子任务节点" 或 "数据源节点" 来设置任务之间的依赖关系。
      • 确保上游任务已经成功执行并产生了输出结果,以供下游任务使用。
    3. 数据准确性或延迟:依赖关系图和内部血缘图是基于元数据和运行日志生成的。如果任务的输入数据源或输出目标发生变化、数据准备不完整,或者存在数据延迟等情况,这些图表可能无法正确显示依赖关系。请确保数据准备就绪,并留意数据的实时性或延迟问题。

    如果您已经检查了以上情况但依然无法显示正确的依赖关系图和内部血缘图,请尝试以下操作:

    • 确保 DataWorks 服务正常运行,并与相关组件(如 MaxCompute、数据源等)连接正常。
    • 检查任务配置中的依赖关系设置,确保正确设置了上游任务和下游任务之间的关系。
    • 针对特定任务,可以尝试重新执行任务并观察是否能够生成相应的依赖关系图和内部血缘图。
    2023-12-10 21:16:15
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多