用得好的数据才是资产,当数据资产遇上知识图谱(2)

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 用得好的数据才是资产,当数据资产遇上知识图谱

3.3 任务编排E-R能力

同样的,通过DMS的任务编排进功能行一个常见的ETL任务的开发,创建一个huiyuan_df(简称df表),使用任务编排功能每天0点定时清理df的表,并从t2表抽取数据写入到df表。

image.png

通过上述操作模拟了一个数据ETL任务开发的场景,并使用任务编排的调度血缘来构建资产图谱。待数据资产图谱构建完成后,回到DMS上查看对应的增强E-R图,可以看到,除了传统的物理外键,列算子血缘关系外,任务编排的调度血缘的关系也体现到了增强E-R图中。

image.png


3.4 智能探查E-R能力

智能探查(SchemaMatching)是DMS自研的数据识别算法引擎,该引擎可在已有的数据资产中识别元数据和内容数据并自动挖掘数据内潜在的关联关系,并将挖掘到的关系将用于构建增强E-R图。

比如可以发现t1表的user_name和t2表的user_name从元数据和数据内容识别上来看都是用户的会员名,接下来我们将ShcemaMatching引擎挖掘后的结果进行关联。待数据资产图谱构建完成后,回到DMS上查看对应的增强E-R图,可以看到,除了传统的物理外键,列算子血缘关系,调度血缘关系外,通过智能探查的关系也体现到了增强E-R图中。

image.png

小彩蛋

细心的读者可以看到DMS增强E-R图中表的右上角有一些小图标,标识了该数据资产在DMS数据资产图谱中的使用情况。增强E-R还隐藏了更多的图标和功能待您继续发掘。


04 DMS增强E-R的技术能力

DMS的增强E-R与传统E-R的构建方案不同,除了具有传统外键展示能力,在DMS一站式多云多源数据纳管,统一Catalog采集,列算子血缘解析和数据资产图谱构建等能力支持下,可以帮助您挖掘出数据资产之间更多潜在的关联关系。


4.1 多云多源的数据纳管能力

在数据源纳管能力上DMS一直主打的是"多云多源"的能力,除了纳管在阿里云下TP/AP/NOSQL/大数据/文件日志等数据源形态,也支持用户在他云/自建下的各种主流数据源。可以很好的解决企业数据孤岛,一站式安全和稳定地管理企业的所有的数据资产。

image.png


4.2 统一Catalog采集能力

DMS自研的统一元数据采集系统已经稳定的支持了阿里集团内部10多年的元数据采集工作,并作为集团内统一的元数据标准为集团的数据管理和治理等业务提供数据支撑和服务,可以快速稳定地对“多云多源”的元数据进行采集,并将各种数据源的实例/库/表/列进行统一的构建和管理。

image.png


4.3 列算子血缘解析能力

列算子血缘解析器是DMS自研的集多引擎SQL解析,元数据自动获取,字段血缘解析,字段加工算子解析于一体的解析器,具有解析字段关联字段,字段依赖字段,字段影响字段,表关联表,表依赖表,表影响表,字段影响表,表影响字段等能力。基于它可以对用户全量SQL中的数据加工逻辑进行快速的解构并给出结构化的解析结果以及直观的可视化视图。

image.png

image.png


4.4 数据资产知识图谱能力

DMS基于元数据自动挖掘和阿里云Tair for Graph的能力构建了百亿级别的节点和关系的数据资产知识图谱,并结合多种数据资产业务应用场景,提供对应的查询和服务能力,比如,通过查看敏感数据的传递方式,可以避免敏感信息二次加工后泄露;通过查看数据之间的依赖关系,可尽早发现数据变更的风险;通过查看数据之间的关联关系,可辅助构建数仓宽表;通过查看数据之间的加工关系,可查看数据的加工链路;通过查看数据之间的引用关系,可识别数据库中的冷、热资产。

image.png

image.png

目录
相关文章
|
6月前
|
数据采集 存储 监控
一个平台搞定数据治理,让数据资产发挥价值
本文将为大家解析如何通过袋鼠云数据治理中心进行企业数据多维度治理,实现数据资产的最大化利用和价值发挥。
61 0
|
3天前
|
存储 数据挖掘 大数据
数据要素&数据资产化资料下载
数据要素&数据资产化资料下载
|
3天前
|
数据采集 存储 安全
数据资产新规!《关于加强数据资产管理的指导意见》发布(附全文)
数据资产新规!《关于加强数据资产管理的指导意见》发布(附全文)
116 0
|
3天前
|
数据采集 存储 SQL
数据资产入表在即,企业如何把握机遇,进行数据资产管理?
数据资产入表在即,对于企业而言,如何在充满机遇的环境下调整策略、适应变化,成为了焦点问题。数据资产入表,离不开前期扎实的数据治理准备,那么究竟应然如何实现数据资产的规范化管理?本文告诉你答案。
144 0
|
6月前
|
SQL 存储 数据库
用得好的数据才是资产,当数据资产遇上知识图谱(1)
用得好的数据才是资产,当数据资产遇上知识图谱
44 0
|
SQL 数据采集 数据可视化
|
存储 数据采集 搜索推荐
知识︱大数据时代的数据资产管理
伴随着大数据时代的悄然来临,对数据的重视提到了前所未有的高度。
个人号码资产化趋势背后 通信安全的商业价值几何?
个人号码资产化趋势背后 通信安全的商业价值几何?
个人号码资产化趋势背后 通信安全的商业价值几何?
|
数据采集 搜索推荐 大数据
带你读《数据资产》第三章数据资产是新的资产类别3.4 数据资产的六大类难题
《数据资产》第三章数据资产是新的资产类别3.4 数据资产的六大类难题
|
数据采集 人工智能 分布式计算
【话题】企业的数据资产管理
关注公众号“达摩院首座”,了解开发者最真实生活
265 1
【话题】企业的数据资产管理