Dataphin功能Tips系列(65)-如何实现StarRocks外表到目标库的血缘链路可视化

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 客户需将StarRocks外部Catalog数据写入内部Default Catalog目标库,并希望在Dataphin中查看内表上游血缘信息以实现全链路追踪。由于Dataphin目前不支持直接采集StarRocks外部Catalog元数据,可通过以下方式实现:在Dataphin中创建StarRocks数据源并配置采集任务,开发时使用三段式表引用格式,在SQL任务中自动解析血缘信息,最终在资产清单中查看血缘关系。

场景

在数据开发流程中,某客户需要将 StarRocks 挂载的外部Catalog数据写入内部Default Catalog的目标库,希望在 Dataphin 中看到内表的上游血缘信息,以实现数据资产的全链路追踪。

目前Dataphin暂不支持直接采集StarRocks外部Catalog元数据那么,该如何实现上述功能呢?

解决方案

在提交/发布任务时,Dataphin会自动解析集成、数据库SQL等任务的血缘,因此在数据库SQL任务中,读取外部Catalog数据写入内表的数据链路可以通过这种方式加载到目标表的血缘信息中。下面就让我们来具体操作一下吧!

1. 在「数据源管理」中创建StarRocks数据源,并测试连接成功。

2. 在「元数据」中,为相应StarRocks数据源创建采集任务并运行。

  1. 进行数据开发时,选择相应的StarRocks数据源创建数据库SQL任务

  1. 在代码中,注意使用[Catalog].[database].[table]三段式进行表引用。


4. 提交并发布任务后,在「资产清单」中,选择「其他系统资产」,找到相应数据表,点击查看详情。

  1. 点击「血缘&影响」,就可以看到系统解析的血缘信息啦!

目录
打赏
0
0
0
0
345
分享
相关文章
Dataphin功能Tips系列(60)-如何轻松实现跨项目表访问
在数据开发中,企业常需跨项目访问数据,例如CDM层项目需访问ODS层表。本文介绍如何在Dataphin中通过批量授权实现高效跨项目权限管理,包括选择生产账号、授权范围及填写原因等步骤,帮助用户快速完成权限配置,提升数据开发效率。
Dataphin智能化重磅升级!编码难题一扫光,开发运维更高效!
Dataphin重磅推出三大核心智能化能力:智能代码助手提升SQL开发效率;智能运维助手实现移动化任务管理;智能分析通过自然语言生成SQL,助力数据价值释放。未来将持续开放智能ETL、安全助手等能力,助力企业构建高效、稳定的数据资产体系。
181 0
数据标准码表的3种创建方式
码表(Lookup表)由可枚举数据组成,用于存储名称与编码的映射关系,适用于属性值约束和质量监控。本文介绍在Dataphin创建码表的三种方式:1) 引用内置模板库,如行政区划、度量单位等标准码表;2) 从已有维表逆向生成码表,实现数据资产复用;3) 自定义创建,支持在线编辑或本地导入。通过这些方式,用户可高效管理码表,提升数据标准化水平,并将其应用于数据标准和质量规则中,确保数据一致性和合规性。
163 3
【产品升级】Dataphin V5.1版本发布:跨云数据集成、指标管理、平台运维带来重大更新!
V5.1版本新增多项功能:对接AWS生态(支持Amazon EMR、Redshift等),强化研发技术支撑(如API认证升级、全量任务隔离),完善运营消费链路(新增业务指标管理、指标关系图),提升平台综合能力(自定义菜单、缩短升级停机时间)。这些功能助力企业实现高效数据治理与分析,未来还将拓展智能化与国际化支持。
188 0
Dataphin功能Tips系列(52)-调度资源组弹性伸缩
Dataphin支持通过自定义资源组实现弹性资源调配:设置资源上下限,允许资源组间相互“借用”空闲资源。当开发环境任务暂停时,其未使用的资源可被生产环境借用,确保资源高效利用,同时保障各环境资源需求。配置时只需明确开发与生产环境的资源上下限,并关联对应项目任务即可实现动态调整。
Dataphin功能Tips系列(56)如何实现质量规则的批量修改
本文介绍了在Dataphin中针对Dataphin表和全域数据表的自定义SQL规则的批量修改的方法。
Dataphin V4.5:批量导入导出目录及资产信息配置,提升资产盘点效率
数据资产运营常需跨部门协作,使用在线文档梳理信息并快速录入系统至关重要。Dataphin 支持通过 Excel 模板批量导入专题、目录及资产配置,大幅提升效率。场景包括:1) 专题目录初始化配置,快速完成多层级目录定义;2) 批量修改专题目录,适配组织结构调整;3) 批量修改资产信息,实现线上协同编辑与更新。系统还提供异常预检与高亮提示,确保导入准确性,助力高效资产盘点与运营。
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问