D&A 领导者应该了解数据编织架构的关键支柱,以实现机器支持的数据集成。
架构师的宝库,每天一篇,开拓你的视野和深度。分享企业架构,业务架构,应用架构,数据架构,技术架构,安全架构等。讨论架构框架,规划,治理,标准,落地。交流新兴的架构风格和模型。如微服务,事件驱动,微前端,大数据,数仓,物联网,人工智能架构。
在日益多样化、分布式和复杂的环境中,数据管理敏捷性已成为组织的任务关键优先事项。为了减少人为错误和总体成本,数据和分析 (D&A) 领导者需要超越传统的数据管理实践,转向现代解决方案,例如支持人工智能的数据集成
“被称为“数据编织”的新兴设计概念可以成为应对一直存在的数据管理挑战的强大解决方案,例如高成本和低价值的数据集成周期、早期集成的频繁维护、对实时性不断增长的需求和事件驱动的数据共享等等,”Gartner 杰出副总裁分析师 Mark Beyer 说。
什么是数据编织?
Gartner 将数据编织定义为一种设计概念,它充当数据和连接过程的集成层(结构)。数据编织利用对现有、可发现和推断的元数据资产的持续分析,以支持跨所有环境(包括混合云和多云平台)设计、部署和利用集成和可重用数据。
Data Fabric 利用人和机器的能力来访问数据或在适当的情况下支持其整合。它不断地识别和连接来自不同应用程序的数据,以发现可用数据点之间独特的、与业务相关的关系。该洞察支持重新设计的决策制定,通过快速访问和理解提供比传统数据管理实践更多的价值。
例如,使用数据编织的供应链领导者可以更快地将新遇到的数据资产添加到供应商延迟和生产延迟之间的已知关系中,并使用新数据(或为新供应商或新客户)改进决策。
将数据编织视为自动驾驶汽车
考虑两种情况。首先,驾驶员积极主动并全神贯注于路线,汽车的自主元素干预最少或没有干预。第二,司机稍显懒惰,注意力不集中,汽车立即切换到半自动模式并进行必要的路线修正。
这两种情况都总结了 Data Fabric 的工作原理。它首先以被动观察者的身份监控数据管道,并开始提出更有成效的替代方案。当数据“驱动程序”和机器学习都对重复的场景感到满意时,它们会通过自动化即兴任务(耗费太多人工时间)来相互补充,同时让领导层可以自由地专注于创新。
D&A 领导者需要了解的有关数据编织的知识
- Data Fabric 不仅仅是传统和现代技术的结合,而是一种改变人类和机器工作负载重点的设计理念。
- 实现数据编织设计需要新的和即将到来的技术,例如语义知识图、主动元数据管理和嵌入式机器学习 (ML)。
- 该设计通过自动执行重复性任务(例如分析数据集、发现模式并将其与新数据源对齐)以及最先进的修复失败的数据集成作业来优化数据管理。
- 没有现有的独立解决方案可以促进成熟的数据编织架构。D&A 领导者可以通过混合构建和购买的解决方案来确保强大的数据编织架构。例如,他们可以选择一个有前景的数据管理平台,该平台具有将数据编织拼接在一起所需的 65-70% 的功能。缺少的功能可以通过本土解决方案来实现。
D&A 领导者如何确保数据编织架构能够提供业务价值?
为了通过数据编织设计提供业务价值,D&A 领导者应确保坚实的技术基础,确定所需的核心能力,并评估现有的数据管理工具。
以下是 D&A 领导者必须了解的数据编织架构的关键支柱。
No 1. Data Fabric 必须收集和分析所有形式的元数据
上下文信息为动态数据编织设计奠定了基础。应该有一种机制(如连接良好的元数据池),使 Data Fabric 能够识别、连接和分析各种元数据,例如技术、业务、运营和社交。
No 2. Data Fabric 必须将被动元数据转换为主动元数据
对于数据的无摩擦共享,企业激活元数据非常重要。为此,Data Fabric 应该:
持续分析关键指标和统计数据的可用元数据,然后构建图形模型。
基于元数据的独特和业务相关关系,以易于理解的方式以图形方式描述元数据。
利用关键元数据指标启用 AI/ML 算法,随着时间的推移学习并产生有关数据管理和集成的高级预测。
下载电子书:决策的未来
No 3. Data Fabric 必须创建和管理知识图谱
知识图谱使数据和分析领导者能够通过语义丰富数据来获得业务价值。
知识图谱的语义层使其更加直观和易于解释,使 D&A 领导者的分析变得容易。它为数据使用和内容图增加了深度和意义,允许 AI/ML 算法将信息用于分析和其他操作用例。
数据集成专家和数据工程师经常使用的集成标准和工具可以确保轻松访问和交付知识图。D&A 领导者应该利用这一点;否则,Data Fabric 的采用可能会面临许多中断。
No 4. Data Fabric 必须具有强大的数据集成主干
Data Fabric 应兼容各种数据交付方式(包括但不限于 ETL、流式传输、复制、消息传递和数据虚拟化或数据微服务)。它应该支持所有类型的数据用户——包括 IT 用户(用于复杂的集成需求)和业务用户(用于自助数据准备)。