在当今数据驱动业务增长的时代,企业对于数据的依赖程度不断加深。越来越多的企业管理者希望能有一个统一的平台,对全局所有数据资产进行有效治理和高效管理。元数据,作为“描述数据的数据”,在这一过程中的作用愈发关键。无论是数据分析师还是CIO,都可以基于元数据的统一采集与管理,快速了解和利用企业的数据资产,提升数据价值,从而挖掘数据背后的潜力。
Dataphin助力构建企业级统一元数据中心
Dataphin作为领先的数据开发与治理一体化平台,全新推出元数据采集与管理功能,可支持多种采集源,并能对采集到的元数据对象进行统一管理和运营,同时可对接丰富的下游应用,为企业在数据管理各个环节提供强有力的支持。
自动化采集元数据
- 丰富的采集源类型:Dataphin 能自动化采集多种数据源的元数据,如关系型数据库 MySQL、Oracle、Microsoft SQLServer、PostgreSQL,并持续拓展更多类型。
- 灵活高效的采集配置:您可以根据需要配置采集范围(如指定schema、指定采集对象类型)。此外,您还可以设置采集任务的执行方式(定时、手动)、采集频率(日、周、月等),以及运行超时时间和失败重试次数等,来确保任务执行的稳定性,并能一定成都上减少人工干预。
元数据检索与查看
您可以在【元数据】模块的“元数据清单”中统一查看所有采集到的元数据对象。根据对象不同的类型,系统会展示对应的元数据属性。例如,对于表对象,您可以看到表描述、行数、存储格式和存储量等;对于字段对象,您可以查看字段名称、数据类型、是否可为空等信息。这样,用户可以快速了解元数据对象的基本情况,大大提升了数据管理的效率。
此外,您也可以在【治理-资产清单】中统一查看Dataphin的资产和通过采集任务采集到的数据源表。“资产列表”为您提供了“来源数据源”和“归属业务系统”2 种不同的查看视角,便于快速定位。您也可以通过数据源类型、资产标签、对象类型等条件进一步筛选需要查找的数据。在对象详情页,您不仅能看到对象的基本信息(如表属性、字段列表),还能查看“血缘信息”和“质量概况”,帮助您更好地评估数据资产的可用性。
元数据存储与管理
配置元数据采集任务时,您可以指定采集到的元数据归属于特定的“业务系统”,便于后续资产上架时进行分类。此外,通过设置“数据更新策略”,您可以选择针对源端新增、更新以及删除的数据如何处理,如:可以选择“源端已经删除的对象继续保留”,便于后续的进行追溯查找。这些设置都能够帮助我们更好的管理元数据。
当然,“版本管理”能力对于元数据的理解和变更追溯也至关重要。每次采集任务执行时,Dataphin会自动对比本次采集到的元数据信息和上次采集的信息是否有变化,如果有变化则会自动生成新的版本。您可以查看每个对象的历史版本列表及其变更概览,或者进行版本对比,以了解数据的具体变更情况。
多场景应用,全面提升数据价值
除了提供统一的门户便于了解全局资产概况,采集到的元数据在这些场景中也发挥着重要作用:
- 开发:开发人员在进行数据同步或者开发数据库SQL 任务、实时任务时,可以快速查看数据源表的表结构、字段详情和使用说明,从而提升开发效率和准确性。
- 治理:通过元数据对象的采集,可以补齐全链路的血缘信息,帮助进行影响分析。结合落标稽核、分类分级打标、质量稽核等操作,从源头上保证数据的规范性和一致性,全面提升数据的可用性。
- 资产管理与运营:通过汇聚全域数据,厘清企业数据资产概况,系统化组织和丰富数据信息,同时结合数据运营培训及推广,建立良好的资产检索和确信体验。
- 资产消费:针对上架到资产目录的组织认证的确信资产,可以 申请消费权限后快捷地跳转到自助分析工具,提升需求实现效率和数据流通性,从而进一步提升数据资产的价值。
Dataphin的元数据采集与管理功能不仅简化了企业数据管理的复杂度,更帮助企业在数据驱动的道路上迈出坚实的一步。无论是开发、治理还是运营,Dataphin都致力于为企业提供全方位的数据管理解决方案,挖掘数据背后的无限价值。