开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks数据血缘如何构建?

dataworks数据血缘如何构建?

展开
收起
真的很搞笑 2023-10-17 10:49:32 165 0
3 条回答
写回答
取消 提交回答
  • 【血缘关系】
    表间数据来源与去向,即节点中表select和insert关系。
    【血缘关系解析】
    代码中select的表自动解析将作为节点输入;
    代码中insert的表自动解析将作为节点输出。
    【用户提交的输入输出】
    用户提交的输入:在调度配置界面的解析出父节点id的输出名(表)。
    用户提交的输出:在调度配置界面的本节点的输出名称(表)。
    【血缘关系解析的输入输出与用户提交的输入输出不匹配提示】

    image.png
    image.png

    如果提示用户提交输入和代码解析的不匹配,请确认表否需要依赖该表:

    需要依赖该表:检查产出该表数据的节点是否将该表作为节点输出(同步任务需要手动添加产出表未节点输出)。
    不需要依赖该表:本地上传的表可忽略提示,提交节点。

    【相关语料】
    回复机器人:调度依赖,依赖的父节点输出不存在
    注意:语料内容仅供参考,请以官网文档为准。
    数据地图表血缘关系:
    1)view:视图的血缘,(其上游血缘)这个是会尝试解析视图的生成语句,成功就会展示,但是有可能会失败,这个目前没有办法保证。下游的话,会根据任务来解析的(视图存在 就会尝试解析视图的生成语句 无论上游表是否存在)。
    2)table: 是需要有周期调度任务来产出血缘的,在开发环境中跑的任务,不会真正纳入到血缘统计进来的,血缘是离线的 生产跑成功一次后,次日凌晨展示。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-18 17:54:51
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks的数据血缘是指数据的源头和去向,通过数据血缘可以清晰地了解数据的来源和流向,为数据管理和数据质量控制提供基础。DataWorks提供了数据血缘的构建功能,具体步骤如下:

    1. 确定数据源:首先需要确定数据的来源,例如是来自数据库、文件、API等。
    2. 创建数据血缘图:在DataWorks的控制台中,点击“数据血缘”图标,然后点击“新建数据血缘图”,选择数据源和目标表,创建数据血缘图。
    3. 添加数据源:在数据血缘图中,点击“添加数据源”,选择数据源类型和数据源配置,添加数据源到数据血缘图中。
    4. 添加数据流向:在数据血缘图中,点击“添加数据流向”,选择数据流向类型和数据流向配置,添加数据流向到数据血缘图中。
    5. 验证数据血缘图:在数据血缘图中,点击“验证数据血缘图”,检查数据血缘图的正确性。
    2023-10-17 13:28:14
    赞同 展开评论 打赏
  • 进入数据血缘
    进入数据保护伞。
    登录DataWorks控制台后,进入数据保护伞页面,操作详情请参见数据保护伞概述。
    单击开始体验,默认进入数据保护伞的首页。
    进入数据血缘。
    您可以通过以下两种方式进入数据血缘页面。
    进入手动修正数据页面,找到需要查看血缘关系的字段,单击操作列的血缘分析跳转至数据血缘页面。
    进入数据保护伞后,在左侧导航栏单击数据血缘。进入数据血缘页面。

    https://help.aliyun.com/zh/dataworks/user-guide/data-lineage?spm=a2c4g.11186623.0.i98

    查看血缘关系图
    数据血缘页面为您可视化展示敏感数据的血缘关系。

    7c9f41cfaa4b75cbaae35b0af7ae8b0d_p442089.png

    2023-10-17 11:22:43
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    被窝里的运维——DataWorks移动版公测-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载