DataWorks元数据采集是什么?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks元数据采集是指通过DataWorks系统自带的元数据管理模块,对各种数据源中的元数据信息进行自动化抓取和采集,以方便用户对数据进行管理和分析的过程。通过元数据采集,可以实现以下功能:
自动识别各种数据源中的表、列、分区等元素信息。
自动采集数据源中的数据质量、数据分布、数据依赖等元数据信息。
自动关联各种数据元素之间的关系,建立数据血缘和数据依赖关系。
提供数据血缘和数据依赖图谱,以帮助用户更好地了解数据的来源、去向和使用情况。
提供数据字典和数据地图等功能,以方便用户对数据进行分类、标注和管理。
通过元数据采集,可以大大提高数据管理和分析的效率和精度,减少人工操作和错误。同时,也为数据治理、合规性和安全性提供了保障。需要注意的是,元数据采集需要对数据源进行授权和配置,以确保数据
【元数据采集】 当您需要采集已开启白名单访问控制的数据库的元数据时,请在数据库白名单列表中添加对应DataWorks所在区域的IP网段。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。