dataworks如何批量导出表的血缘信息?

dataworks如何批量导出表的血缘信息?

展开
收起
真的很搞笑 2024-03-19 15:20:51 111 分享 版权
阿里云 AI 助理回答

在DataWorks中,批量导出表的血缘信息需要结合数据地图和相关功能进行操作。以下是具体步骤和说明:


1. 前置条件

  • 版本要求:仅DataWorks标准版及以上版本支持查看和导出表的血缘信息。
  • 权限要求:确保您具备查看血缘信息和导出数据的权限。
  • 数据更新延迟:血缘信息基于调度作业、数据流转等解析得出,存在T+1的离线统计延迟。

2. 操作步骤

步骤1:进入数据地图

  1. 登录DataWorks控制台。
  2. 切换至目标工作空间。
  3. 在左侧导航栏中,单击数据地图,进入数据地图页面。

步骤2:查找目标表

  1. 在数据地图页面,通过搜索框输入目标表名称,定位到需要导出血缘信息的表。
  2. 单击目标表名称,进入表详情页面。

步骤3:查看血缘信息

  1. 在表详情页面,单击顶部的血缘信息页签。
  2. 血缘信息页面会展示表级和字段级的血缘关系,包括上游和下游的依赖关系。
  3. 如果需要进一步分析影响范围,可以使用影响分析功能,查看当前表的下游表列表。

步骤4:导出血缘信息

  1. 在血缘信息页面,找到并单击下载按钮(通常位于页面右上角)。
  2. 系统支持将血缘信息导出为本地文件(如CSV或Excel格式),您可以选择保存路径并完成下载。

3. 注意事项

  • 手动操作限制:血缘信息暂不包含通过临时查询等手动操作产生的血缘关系。
  • 数据源限制
    • 对于E-MapReduce数据源,需确保集群侧已配置EMR-HOOK,否则无法展示血缘关系。
    • StarRocks Serverless集群需启用stmt_event_listeners参数以支持血缘分析能力。
    • CDH Spark SQL及CDH Spark节点需单独配置Spark参数以支持血缘关系展示。
  • 敏感数据血缘:如果涉及敏感数据血缘分析,需使用数据保护伞功能,且仅企业版及以上版本支持。

4. 批量导出的替代方案

如果需要批量导出多个表的血缘信息,可以通过以下方式实现: 1. 脚本自动化:利用DataWorks的OpenAPI接口,编写脚本批量获取表的血缘信息并导出。 2. 任务调度:将血缘信息导出任务配置为周期性调度任务,定期生成并存储血缘数据。


以上步骤和注意事项可以帮助您在DataWorks中高效地批量导出表的血缘信息。如有进一步需求,请参考相关文档或联系技术支持。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理