「数据架构」介绍下一代主数据管理(MDM)

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 「数据架构」介绍下一代主数据管理(MDM)


主数据管理是旨在创建和维护权威、可靠、可持续、准确、及时和安全的环境的过程和技术框架。这个环境代表了一个单一版本的事实,作为跨不同的系统、业务单元和用户社区的可接受的记录系统。

尽管MDM不是新的,但是最近人们对开发MDM解决方案的兴趣大增。这是因为跨广泛行业的组织的战略和战术需求。这种趋势的一些关键驱动因素是诸如GPDR、Sarbanes-Oxley Act和HIPAA等法规的遵从性。

主数据管理还使组织能够更好地关注以客户为中心的活动,更好地洞察客户的目标、需求、能力和要求额外产品和服务的倾向。如果执行正确,这可以增加交叉销售和追加销售的收入机会,并改善整体客户体验。

MDM实现过程中遇到的一些关键技术挑战包括:

  1. 数据治理以及度量和解决数据质量问题的能力
  2. 创建和维护组织范围内一致的数据定义
  3. 可伸缩性方面的挑战,要求MDM解决方案处理大量和复杂的数据,特别是增加“大数据”的使用,包括移动和社交媒体等非结构化数据
  4. 实施过程控制以支持审计和合规报告的需要

MDM解决方案和供应商产品通过引入和集成新技术、提高数据质量和匹配解决方案,不断扩展各种特性集的功能。下面是一些特定的核心功能,它们随着时间的推移不断发展,以满足当今的业务需求并减少实现风险。

MDM业务价值从集成模型发展到分析模型

许多客户将他们的MDM计划与实时客户参与(360视图)和业务流程优化紧密联系在一起。这些用例依赖于大量的属性和元数据,这些属性和元数据为个性化、后勤和预防性维护提供上下文。在过去,一个hub最多只包含几百个数据元素。

今天,客户需要的解决方案能够支持一个域的数千个数据元素和一个多域中心的数万个数据元素。一些数据驱动的用例是:

  1. 基于上下文信息的重要性,如谷歌现在显示即将到来的旅行,报告目的地天气,预测分析和建议
  2. 内置的MDM功能,可以将实体关联到360个视图中,供打开的机票、订单和朋友的参考
  3. 行为、偏好、权限、安全性、身份、位置和时间都在图中维护和连接,并在业务上下文中表示给数据使用者。例如,行为模式可以定义客户域,而不是只关注身份。这将创建相关性、敏捷性和灵活性,以便将主数据塑造为任何业务服务。

下一代数据源的架构考虑:(大数据、社交)、云和其他关键技术趋势,如图形数据库

像Informatica、Reltio和Pitney Bowes这样的MDM工具使用一个图形数据库来收集主数据,并将它们与其他属性和元数据联系起来。相对容易地跨通道集成内部、外部、移动和非结构化源是图数据库采用的关键考虑因素。

此外,数据模型更加多维,数据层次更加深入。为了适应组织需求的复杂性和复杂性,客户参考更倾向于使用上下文和分析性MDM解决方案,而不是传统的MDM工具,后者将关系数据库作为体系结构的一部分。

通过图形数据库、机器学习、大数据和分析可视化支持MDM功能和分析功能的解决方案。这些解决方案将主数据直接转换为insight。数据模式的可视化显示了客户连接和偏好。机器学习仅仅通过理解数据链接就能提供真知灼见。一些示例场景包括产品建议、身份和欺诈分析、合并和收购协调。机器学习采用动态的、不断演化的数据,而关系数据库在互连数据方面比较慢。

需要特定的工具来提供构建高级匹配和合并流程算法的能力。社交分析尤其如此,它是大数据中应用最广泛的用例之一。社会分析的最大挑战是成功地识别组织现有客户的社会概况,这主要是因为在搜索常见名称时可以返回多个结果。此外,许多人在他们的社交资料中使用化名而不是真名,这使得识别这些资料更加困难。

一个主动的数据治理过程

为了进行适当的数据治理,您需要一个MDM工具,它可以简化和自动化管理过程,消除过去让管理人员不堪重负和数据使用瓶颈的手工过程。实现高级数据治理策略也很重要。这些规则不仅涉及数据使用、所有权等方面,还涉及特定于大数据的数据治理和数据管理。

数据治理中其他两个必要的因素包括确保外部数据不会影响内部数据的完整性,以及确保能够管理数据冲突的升级路径。出于安全原因,您还应该简化隐私策略的定义和管理。

Reltio、Informatica、SAP、IBM和Pitney Bowes领衔(Forrester)

这些领导者展示了丰富的MDM功能,可以用于复杂的主数据场景、大型复杂的生态系统和数据治理,从而交付企业级的业务价值。


外部引用数据提供者及其服务将在MDM实现中扮演重要角色。诸如Dun & Bradstreet、Acxiom、Lexus-Nexus等公司就是这样的数据提供商。它们是提供关键功能的关键,例如数据清理、合理化、充实和匹配。

业务需求和供应商整合最终将导致提供全面的MDM解决方案,其中包括复杂的数据质量组件、灵活的规则引擎、元数据存储库和基于组件化服务的产品套件中的遵从性和审计监控功能。

在Intersys,我们的一大批高技能的顾问在许多不同类型的MDM工具和用例方面都非常合格。凭借我们的专业知识,我们可以实现或支持您的所有Maser数据管理需求,并帮助您的组织实现数字化转型。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
相关文章
|
2月前
|
数据采集 存储 安全
数据治理≠数据管理!90%的企业都搞错了重点!
在数字化转型中,数据不一致、质量差、安全隐患等问题困扰企业。许多组织跳过基础的数据管理,直接进行数据治理,导致方案难以落地。数据管理涵盖数据生命周期中的采集、存储、处理等关键环节,决定了数据是否可用、可靠。本文详解数据管理的四大核心模块——数据质量、元数据、主数据与数据安全,并提供构建数据管理体系的四个阶段:评估现状、确定优先级、建立基础能力与持续改进,助力企业夯实数据基础,推动治理落地。
|
4月前
|
存储 BI Shell
Doris基础-架构、数据模型、数据划分
Apache Doris 是一款高性能、实时分析型数据库,基于MPP架构,支持高并发查询与复杂分析。其前身是百度的Palo项目,现为Apache顶级项目。Doris适用于报表分析、数据仓库构建、日志检索等场景,具备存算一体与存算分离两种架构,灵活适应不同业务需求。它提供主键、明细和聚合三种数据模型,便于高效处理更新、存储与统计汇总操作,广泛应用于大数据分析领域。
498 2
|
3月前
|
数据采集 缓存 前端开发
如何开发门店业绩上报管理系统中的商品数据板块?(附架构图+流程图+代码参考)
本文深入讲解门店业绩上报系统中商品数据板块的设计与实现,涵盖商品类别、信息、档案等内容,详细阐述技术架构、业务流程、数据库设计及开发技巧,并提供完整代码示例,助力企业构建稳定、可扩展的商品数据系统。
|
2月前
|
数据采集 机器学习/深度学习 搜索推荐
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
MIT与丰田研究院研究发现,扩散模型的“局部性”并非源于网络架构的精巧设计,而是自然图像统计规律的产物。通过线性模型仅学习像素相关性,即可复现U-Net般的局部敏感模式,揭示数据本身蕴含生成“魔法”。
150 3
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
|
2月前
|
数据采集 存储 SQL
数据管理四部曲:元数据管理、数据整合、数据治理、数据质量管控
老张带你搞定企业数据管理难题!数据找不到、看不懂、用不好?关键在于打好元数据管理、数据整合、数据治理和数据质量管控四大基础。四部曲环环相扣,助你打通数据孤岛,提升数据价值,实现精准决策与业务增长。
数据管理四部曲:元数据管理、数据整合、数据治理、数据质量管控
|
2月前
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。
|
3月前
|
数据采集 监控 数据可视化
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
本案例讲述了在豆瓣电影数据采集过程中,面对数据量激增和限制机制带来的挑战,如何通过引入爬虫代理、分布式架构与异步IO等技术手段,实现采集系统的优化与扩展,最终支撑起百万级请求的稳定抓取。
136 0
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
|
3月前
|
SQL 数据采集 数据处理
终于有人把数据架构讲清楚了!
本文深入浅出地解析了数据架构的核心逻辑,涵盖其定义、作用、设计方法及常见误区,助力读者构建贴合业务的数据架构。
|
4月前
|
数据采集 存储 分布式计算
一文读懂数据中台架构,高效构建企业数据价值
在数字化时代,企业面临数据分散、难以统一管理的问题。数据中台架构通过整合、清洗和管理数据,打破信息孤岛,提升决策效率。本文详解其核心组成、搭建步骤及常见挑战,助力企业高效用数。
1555 24

热门文章

最新文章