高效元数据采集与管理 -- Dataphin新功能助力数据驱动业务增长

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: Dataphin作为领先的数据开发与治理一体化平台,全新推出元数据采集与管理功能,可支持多种采集源,并能对采集到的元数据对象进行统一管理和运营,同时可对接丰富的下游应用,为企业在数据管理各个环节提供强有力的支持。

在当今数据驱动业务增长的时代,企业对于数据的依赖程度不断加深。越来越多的企业管理者希望能有一个统一的平台,对全局所有数据资产进行有效治理和高效管理。元数据,作为“描述数据的数据”,在这一过程中的作用愈发关键。无论是数据分析师还是CIO,都可以基于元数据的统一采集与管理,快速了解和利用企业的数据资产,提升数据价值,从而挖掘数据背后的潜力。

Dataphin助力构建企业级统一元数据中心

Dataphin作为领先的数据开发与治理一体化平台,全新推出元数据采集与管理功能,可支持多种采集源,并能对采集到的元数据对象进行统一管理和运营,同时可对接丰富的下游应用,为企业在数据管理各个环节提供强有力的支持。

自动化采集元数据

  1. 丰富的采集源类型:Dataphin 能自动化采集多种数据源的元数据,如关系型数据库 MySQL、Oracle、Microsoft SQLServer、PostgreSQL,并持续拓展更多类型。
  2. 灵活高效的采集配置:您可以根据需要配置采集范围(如指定schema、指定采集对象类型)。此外,您还可以设置采集任务的执行方式(定时、手动)、采集频率(日、周、月等),以及运行超时时间和失败重试次数等,来确保任务执行的稳定性,并能一定成都上减少人工干预。

元数据检索与查看

您可以在【元数据】模块的“元数据清单”中统一查看所有采集到的元数据对象。根据对象不同的类型,系统会展示对应的元数据属性。例如,对于表对象,您可以看到表描述、行数、存储格式和存储量等;对于字段对象,您可以查看字段名称、数据类型、是否可为空等信息。这样,用户可以快速了解元数据对象的基本情况,大大提升了数据管理的效率。


此外,您也可以在【治理-资产清单】中统一查看Dataphin的资产和通过采集任务采集到的数据源表。“资产列表”为您提供了“来源数据源”和“归属业务系统”2 种不同的查看视角,便于快速定位。您也可以通过数据源类型、资产标签、对象类型等条件进一步筛选需要查找的数据。在对象详情页,您不仅能看到对象的基本信息(如表属性、字段列表),还能查看“血缘信息”和“质量概况”,帮助您更好地评估数据资产的可用性。

元数据存储与管理

配置元数据采集任务时,您可以指定采集到的元数据归属于特定的“业务系统”,便于后续资产上架时进行分类。此外,通过设置“数据更新策略”,您可以选择针对源端新增、更新以及删除的数据如何处理,如:可以选择“源端已经删除的对象继续保留”,便于后续的进行追溯查找。这些设置都能够帮助我们更好的管理元数据。


当然,“版本管理”能力对于元数据的理解和变更追溯也至关重要。每次采集任务执行时,Dataphin会自动对比本次采集到的元数据信息和上次采集的信息是否有变化,如果有变化则会自动生成新的版本。您可以查看每个对象的历史版本列表及其变更概览,或者进行版本对比,以了解数据的具体变更情况。

image.png

多场景应用,全面提升数据价值

除了提供统一的门户便于了解全局资产概况,采集到的元数据在这些场景中也发挥着重要作用:

  • 开发:开发人员在进行数据同步或者开发数据库SQL 任务、实时任务时,可以快速查看数据源表的表结构、字段详情和使用说明,从而提升开发效率和准确性。
  • 治理:通过元数据对象的采集,可以补齐全链路的血缘信息,帮助进行影响分析。结合落标稽核、分类分级打标、质量稽核等操作,从源头上保证数据的规范性和一致性,全面提升数据的可用性。
  • 资产管理与运营:通过汇聚全域数据,厘清企业数据资产概况,系统化组织和丰富数据信息,同时结合数据运营培训及推广,建立良好的资产检索和确信体验。
  • 资产消费:针对上架到资产目录的组织认证的确信资产,可以 申请消费权限后快捷地跳转到自助分析工具,提升需求实现效率和数据流通性,从而进一步提升数据资产的价值。


Dataphin的元数据采集与管理功能不仅简化了企业数据管理的复杂度,更帮助企业在数据驱动的道路上迈出坚实的一步。无论是开发、治理还是运营,Dataphin都致力于为企业提供全方位的数据管理解决方案,挖掘数据背后的无限价值。

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
存储 数据采集 监控
架构篇:智能数据构建及管理平台Dataphin | 《零售数据中台通关指南》
本篇介绍了平台化交付关键要素以及数据治理和统一公共层建设。
架构篇:智能数据构建及管理平台Dataphin | 《零售数据中台通关指南》
|
2月前
|
运维 关系型数据库 调度
想一套Dataphin管理云上云下的集群和数据?“注册调度集群”来帮忙!
在实际业务场景中,部分企业在云上和云下(本地机房)都存在集群和数据库,企业期望通过一套Dataphin同时对这些集群和数据库进行管理,如何有效解决数据跨网络传输带来的安全性低和流量成本高的问题是其中的关键。为了解决上述问题,Dataphin推出“注册调度集群”功能,帮助企业实现一套Dataphin管理云上云下的集群和数据。
|
2月前
|
安全 数据挖掘 大数据
Dataphin推出“资产消费”功能,助力提升数据分析效率与体验
在数据驱动的时代,企业数据资产的有效管理与高效利用成为了企业数字化转型的关键。面对复杂多变的业务场景和日益增长的数据需求,如何确保数据资产的安全访问、便捷查找与灵活消费,成为众多数据平台负责人的共同挑战。Dataphin,作为一站式大数据智能建设与管理平台,在V4.2版本中全新推出“资产消费”新功能,旨在通过统一权限管理并打通 BI 平台,为企业数据资产管理与消费带来便捷体验。
|
4月前
|
UED
瓴羊Dataphin V3.8 升级速递丨强化数据治理、提升标签洞察力、灵活管理诉求……
瓴羊Dataphin V3.8 升级速递丨强化数据治理、提升标签洞察力、灵活管理诉求……
|
存储 数据采集 监控
数据治理利器Dataphin:数据安全管理3步走,保障全链路数据安全(V3.11版本)
瓴羊Dataphin(智能数据建设与治理),一直在探索数据安全管理能力的产品化最佳实践,即如何帮助企业利用产品工具能力,基于法律法规、主管部门要求和自身行业和业务的需要,建立起规范的分级分类制度,并对敏感数据制定相应的保护策略。企业通过Dataphin构建起合规的数据安全体系,将数据安全风险降至最低,让数据资产在安全合规的基础上,得到最大的价值释放。
767 4
|
数据采集 监控 数据管理
数据质量最佳实践(4):支持范围和多级分区质量监控+按项目和个人管理数据质量【Dataphin V3.11】
在Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。 在Dataphin V3.11版本中,质量新增了下面两个能力: 1、针对复杂的业务分区的校验能力 2、按照项目和个人管理数据质量
432 1
|
数据采集 SQL 机器学习/深度学习
Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展
数据质量是数据建设和管理中非常重要的一环。所有的数据应用,不论是用于支持业务开展的数据库,还是用于支持商业决策,或者用于机器学习和人工智能等高级应用,实现数据价值的前提是数据本身是高质量的,是可靠和可信的。
Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展
|
小程序 数据处理
Dataphin V2.9.7-萃取3.0之平台管理功能简介
在正式开始标签研发之前,首先需要对基于业务需求对标签使用场景、需求定义、统计口径、时效性等进行梳理,产出标签体系。标签体系的建设有三个核心要素:ID(用于区分和识别打标对象)、行为(标签计算依赖的来源数据,记录了实体的活动信息)、标签(用于描述实体特性的信息)。为了更好的管理核心要素,我们常常需要通过“分类”的方式对齐进行梳理,萃取的“平台管理”功能就提供了核心要素类目定义的能力。
Dataphin V2.9.7-萃取3.0之平台管理功能简介
|
数据安全/隐私保护
通过OpenAPI管理Dataphin的成员
在Dataphin V2.9.2及以上版本,Dataphin提供了一套OpenAPI。企业通常有自己的用户和权限管理系统,Dataphin提供了对接的认证系统的方式,在此基础上,还可配合OpenAPI,将Dataphin系统中的用户、项目成员及角色进行集中式的管理。
415 0
|
分布式计算 数据处理 MaxCompute
Dataphin V3.4 - 租户管理
在Dataphin V3.4中,我们发布了多租户的功能。本文将提供一个简单的视频演示如果做租户的管理。
486 0

热门文章

最新文章

下一篇
DDNS