开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks调度节点报错。是什么原因?

dataworks调度节点报错。是什么原因?

展开
收起
爱喝咖啡嘿 2022-12-18 18:23:09 271 0
2 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,看看这个: 可能原因1:没有节点产出这个表 可能原因 出现此种情况的原因之一是:确实没有节点产出这个表。 对于大部分场景,DataWorks可通过自动解析,自动将产出表添加为节点的本节点的输出,但是对于非周期性生成的表,不支持使用自动解析。非周期性调度生产数据的表包括: 从本地上传到DataWorks的表 维表 非DataWorks调度产出的表 手动任务产出的表 当有节点SELECT非周期性调度生成数据的表时,就会出现上述报错。 解决方案 您需要手动删除包含非周期性生成数据的表相关的依赖配置。本示例中,即您需要手动将父节点输出名称为xc_ods_user_info_d_133的调度依赖配置删除。 手动删除调度依赖的具体操作可参见调度依赖配置指导:手动配置。 可能原因2:有节点产出该表数据,但是该表没有添加为该节点的输出 可能原因 出现此种情况的另外一个可能的原因是:有节点产出该表数据,但是该表没有添加为该节点的输出。 对于大部分场景,DataWorks可通过自动解析,自动将产出表添加为节点的本节点的输出,但是对于一些特殊的节点,DataWorks不支持使用自动解析。离线节点、AnalyticDB for PostgreSQL节点、AnalyticDB for MySQL节点、EMR节点不支持通过自动解析添加节点的调度依赖,这些节点的产出表需要手动添加为本节点的输出。 当有节点SELECT这类节点生成的表,且产出这个表的没有手动添为节点的产出时,就会出现上述报错。 解决方案 您需要手动将表添加为产出该表节点的输出。本示例中,即您需要手动将xc_ods_user_info_d_133添加为产出这个表的本节点输出。 手动添加调度依赖的具体操作可参见调度依赖配置指导:手动配置。 为了避免依赖关系配置错误导致数据出现问题,DataWorks会在提交节点时进行表数据血缘关的输入输出和调度配置输入输出比较,如果不一致会给您提示,详情可参见提交节点时提示:输入输出和代码血缘分析不匹配。 不是DataWorks每天调度产出的表数据,是不需要设置节点依赖关系的,这类表依赖可以删除,删除后提交节点时,会出现血缘关系与调度依赖配置不一致的提示,您可确认一下,是否除了删除的非周期性生成数据表的依赖关系外,没有其他血缘与调度配置不一致的地方,没有的话可以强制提交节点。 可能原因3:存在同名的节点输出 可能原因 出现此种情况的另外一个可能的原因是:有多个节点的本节点产出名称一样。此原因可能由两种场景造成: 有多个节点产出了同一张表。 如果有多个节点产出了同一个表,当有节点SELECT这张表时,系统无法找到准确且唯一的产出这张表的节点,提交节点时会出现上述报错。 同个项目中存在同名的节点。 由于节点创建时,系统会自动为节点添加两个本节点产出,其中一个名称命名规则为projectname.nodename,如果同一个项目下如果有两个同名节点,这两个节点自动生成的本节点产出名称一样,提交会出现上述报错。 解决方案 需严格按照代码开发规范和界面命名建议进行整改: 一张表由一个节点产出,节点的产出表需添加为本节点的产出。 同项目中的节点命名不重复。 整改后,需确保不存在多个节点的本节点产出名称一样。

    2022-12-19 07:54:32
    赞同 展开评论 打赏
  • 调度系统会检查该实例的全部上游实例是否运行成功。只有上游实例全部运行成功,且定时时间到达的实例,才会被触发运行。

    2022-12-19 07:54:31
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    被窝里的运维——DataWorks移动版公测-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多