【数据编制架构】Data Fabric 架构是实现数据管理和集成现代化的关键

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 【数据编制架构】Data Fabric 架构是实现数据管理和集成现代化的关键

D&A 领导者应该了解数据编织架构的关键支柱,以实现机器支持的数据集成。


架构师的宝库,每天一篇,开拓你的视野和深度。分享企业架构,业务架构,应用架构,数据架构,技术架构,安全架构等。讨论架构框架,规划,治理,标准,落地。交流新兴的架构风格和模型。如微服务,事件驱动,微前端,大数据,数仓,物联网,人工智能架构。


在日益多样化、分布式和复杂的环境中,数据管理敏捷性已成为组织的任务关键优先事项。为了减少人为错误和总体成本,数据和分析 (D&A) 领导者需要超越传统的数据管理实践,转向现代解决方案,例如支持人工智能的数据集成

 

“被称为“数据编织”的新兴设计概念可以成为应对一直存在的数据管理挑战的强大解决方案,例如高成本和低价值的数据集成周期、早期集成的频繁维护、对实时性不断增长的需求和事件驱动的数据共享等等,”Gartner 杰出副总裁分析师 Mark Beyer 说。

什么是数据编织?

Gartner 将数据编织定义为一种设计概念它充当数据和连接过程的集成层(结构)。数据编织利用对现有、可发现和推断的元数据资产的持续分析,以支持跨所有环境(包括混合云和多云平台)设计、部署和利用集成和可重用数据。

Data Fabric 利用人和机器的能力来访问数据或在适当的情况下支持其整合。它不断地识别和连接来自不同应用程序的数据,以发现可用数据点之间独特的、与业务相关的关系。该洞察支持重新设计的决策制定,通过快速访问和理解提供比传统数据管理实践更多的价值。

例如,使用数据编织的供应链领导者可以更快地将新遇到的数据资产添加到供应商延迟和生产延迟之间的已知关系中,并使用新数据(或为新供应商或新客户)改进决策。

将数据编织视为自动驾驶汽车

考虑两种情况。首先,驾驶员积极主动并全神贯注于路线,汽车的自主元素干预最少或没有干预。第二,司机稍显懒惰,注意力不集中,汽车立即切换到半自动模式并进行必要的路线修正。

这两种情况都总结了 Data Fabric 的工作原理。它首先以被动观察者的身份监控数据管道,并开始提出更有成效的替代方案。当数据“驱动程序”和机器学习都对重复的场景感到满意时,它们会通过自动化即兴任务(耗费太多人工时间)来相互补充,同时让领导层可以自由地专注于创新。

 

D&A 领导者需要了解的有关数据编织的知识

 

  • Data Fabric 不仅仅是传统和现代技术的结合,而是一种改变人类和机器工作负载重点的设计理念。
  • 实现数据编织设计需要新的和即将到来的技术,例如语义知识图主动元数据管理嵌入式机器学习 (ML)
  • 该设计通过自动执行重复性任务(例如分析数据集、发现模式并将其与新数据源对齐)以及最先进的修复失败的数据集成作业来优化数据管理。
  • 没有现有的独立解决方案可以促进成熟的数据编织架构。D&A 领导者可以通过混合构建和购买的解决方案来确保强大的数据编织架构。例如,他们可以选择一个有前景的数据管理平台,该平台具有将数据编织拼接在一起所需的 65-70% 的功能。缺少的功能可以通过本土解决方案来实现。

D&A 领导者如何确保数据编织架构能够提供业务价值?

为了通过数据编织设计提供业务价值,D&A 领导者应确保坚实的技术基础,确定所需的核心能力,并评估现有的数据管理工具。

 

以下是 D&A 领导者必须了解的数据编织架构的关键支柱。

No 1. Data Fabric 必须收集和分析所有形式的元数据

上下文信息为动态数据编织设计奠定了基础。应该有一种机制(如连接良好的元数据池),使 Data Fabric 能够识别、连接和分析各种元数据,例如技术、业务、运营和社交。


No 2. Data Fabric 必须将被动元数据转换为主动元数据

对于数据的无摩擦共享,企业激活元数据非常重要。为此,Data Fabric 应该:

持续分析关键指标和统计数据的可用元数据,然后构建图形模型。

基于元数据的独特和业务相关关系,以易于理解的方式以图形方式描述元数据。

利用关键元数据指标启用 AI/ML 算法,随着时间的推移学习并产生有关数据管理和集成的高级预测。

下载电子书:决策的未来

No 3. Data Fabric 必须创建和管理知识图谱

知识图谱使数据和分析领导者能够通过语义丰富数据来获得业务价值。

知识图谱的语义层使其更加直观和易于解释,使 D&A 领导者的分析变得容易。它为数据使用和内容图增加了深度和意义,允许 AI/ML 算法将信息用于分析和其他操作用例。

数据集成专家和数据工程师经常使用的集成标准和工具可以确保轻松访问和交付知识图。D&A 领导者应该利用这一点;否则,Data Fabric 的采用可能会面临许多中断。

No 4. Data Fabric 必须具有强大的数据集成主干

Data Fabric 应兼容各种数据交付方式(包括但不限于 ETL、流式传输、复制、消息传递和数据虚拟化或数据微服务)。它应该支持所有类型的数据用户——包括 IT 用户(用于复杂的集成需求)和业务用户(用于自助数据准备)。

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
3月前
|
人工智能 关系型数据库 分布式数据库
拥抱Data+AI|“全球第一”雅迪如何实现智能营销?DMS+PolarDB注入数据新活力
针对雅迪“云销通App”的需求与痛点,本文将介绍阿里云瑶池数据库DMS+PolarDB for AI提供的一站式Data+AI解决方案,助力销售人员高效用数,全面提升销售管理效率。
|
4月前
|
缓存 Devops jenkins
专家视角:构建可维护的测试架构与持续集成
【10月更文挑战第14天】在现代软件开发过程中,构建一个可维护且易于扩展的测试架构对于确保产品质量至关重要。本文将探讨如何设计这样的测试架构,并将单元测试无缝地融入持续集成(CI)流程之中。我们将讨论最佳实践、自动化测试部署、性能优化技巧以及如何管理和扩展日益增长的测试套件规模。
72 3
|
2月前
|
存储 JavaScript 开发工具
基于HarmonyOS 5.0(NEXT)与SpringCloud架构的跨平台应用开发与服务集成研究【实战】
本次的.HarmonyOS Next ,ArkTS语言,HarmonyOS的元服务和DevEco Studio 开发工具,为开发者提供了构建现代化、轻量化、高性能应用的便捷方式。这些技术和工具将帮助开发者更好地适应未来的智能设备和服务提供方式。
74 8
基于HarmonyOS 5.0(NEXT)与SpringCloud架构的跨平台应用开发与服务集成研究【实战】
|
6月前
|
物联网 数据管理 Apache
拥抱IoT浪潮,Apache IoTDB如何成为你的智能数据守护者?解锁物联网新纪元的数据管理秘籍!
【8月更文挑战第22天】随着物联网技术的发展,数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计,在IoT领域脱颖而出。相较于传统数据库,IoTDB采用树形数据模型高效管理实时数据,具备轻量级结构与高并发能力,并集成Hadoop/Spark支持复杂分析。在智能城市等场景下,IoTDB能处理如交通流量等数据,为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程,并支持细致的权限管理确保数据安全。综上所述,IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
160 1
|
7月前
|
SQL NoSQL 数据管理
数据管理DMS使用问题之如何批量导入MongoDB的数据文件
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
3月前
|
关系型数据库 分布式数据库 数据库
云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?
在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
|
4月前
|
存储 人工智能 安全
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖,本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”,助力提升全民数据素养。
217 0
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
|
4月前
|
存储 SQL 分布式计算
湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
【10月更文挑战第7天】湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
331 1
|
4月前
|
数据采集 安全 数据管理
通信行业数据治理:如何实现高效、安全的数据管理?
在未来的发展中,通信行业的企业应加强数据治理意识,提高数据治理能力;同时,积极开展跨行业的合作创新,共同推动行业的繁荣与发展。相信在不久的将来,通信行业将迎来更加美好的明天。
|
6月前
|
消息中间件 Java 网络架构
AMQP与微服务架构的集成策略
【8月更文第28天】在微服务架构中,各个服务通常通过HTTP/REST、gRPC等协议进行交互。虽然这些方法在很多场景下工作得很好,但在需要高并发、低延迟或需要处理大量消息的情况下,传统的同步调用方式可能无法满足需求。此时,AMQP作为异步通信的一种标准协议,可以提供一种更为灵活和高效的消息传递机制。
54 1