开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks输入输出和代码血缘分析不匹配?

DataWorks输入输出和代码血缘分析不匹配?

展开
收起
真的很搞笑 2023-10-15 19:46:46 136 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    当您在DataWorks中配置输入和代码血缘分析时,如果输入输出和代码血缘分析不匹配,可能是由于以下原因:

    1. 表名可能和节点名称不一致导致,可以将自动解析关闭,然后手动添加需要的节点。
    2. 可能是代码中删除输入输出,但是在节点的依赖关系这里没有将它作为输入或者输出。
    3. 可能是代码中select的表自动解析将作为节点输入,代码中insert的表自动解析将作为节点输出,但是这两个结果不匹配。
    4. 您可能需要检查代码中的数据来源和去向是否与实际的表输入和输出匹配。
    2023-10-16 12:52:27
    赞同 展开评论 打赏
  • 【血缘关系】
    表间数据来源与去向,即节点中表select和insert关系。
    【血缘关系解析】
    代码中select的表自动解析将作为节点输入;
    代码中insert的表自动解析将作为节点输出。
    【用户提交的输入输出】
    用户提交的输入:在调度配置界面的解析出父节点id的输出名(表)。
    用户提交的输出:在调度配置界面的本节点的输出名称(表)。
    【血缘关系解析的输入输出与用户提交的输入输出不匹配提示】
    image.png
    image.png

    如果提示用户提交输入和代码解析的不匹配,请确认表否需要依赖该表:

    需要依赖该表:检查产出该表数据的节点是否将该表作为节点输出(同步任务需要手动添加产出表未节点输出)。
    不需要依赖该表:本地上传的表可忽略提示,提交节点。

    【相关语料】
    回复机器人:调度依赖,依赖的父节点输出不存在
    注意:语料内容仅供参考,请以官网文档为准。
    数据地图表血缘关系:
    1)view:视图的血缘,(其上游血缘)这个是会尝试解析视图的生成语句,成功就会展示,但是有可能会失败,这个目前没有办法保证。下游的话,会根据任务来解析的(视图存在 就会尝试解析视图的生成语句 无论上游表是否存在)。
    2)table: 是需要有周期调度任务来产出血缘的,在开发环境中跑的任务,不会真正纳入到血缘统计进来的,血缘是离线的 生产跑成功一次后,次日凌晨展示。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-15 22:42:38
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多