如何解决现实世界数据的挑战

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 假设你正在努力通过“了解你的客户”来改善客户体验。或许你符合了BCBS 239或欧洲的GDPR等监管要求,以避免罚款。或者你可以通过从月度勘探清单中删除重复的项目来削减成本。

假设你正在努力通过“了解你的客户”来改善客户体验。或许你符合了BCBS 239或欧洲的GDPR等监管要求,以避免罚款。或者你可以通过从月度勘探清单中删除重复的项目来削减成本。

无论你的目的是什么,如果你想做出最好的决定,拥有准确的数据是第一步。我们当然不缺乏数据,仅仅拥有大量的数据并不一定会帮助你回答重大问题、理解问题或做出更快、更好的决策。为了获得竞争优势,保持盈利或满足客户,你必须能够根据数据告诉你的洞察采取行动。

不幸的是,尽管在数据管理技术和工具上有了进步,许多人还是被数据淹没了。大量的IT数据通常以不同的格式和系统分布在部门、团队和位置,比如云,阻碍了报告和分析。如果不同的系统或报告之间存在差异,你可能会花太多的时间寻找和清理数据——这些时间本可以更好地用于分析、通信或响应。即使在每月的质量检查中修正了数据,也没有改变造成数据质量挑战的系统性问题或根本原因。

你是否吸取了教训中的经验,并将其自动应用到数据管理中——这样下个月你就不用再把时间浪费在整合和清理数据上了?

我们看一个简单的例子,其中几个系统包含同一个人的不同版本和名字。

017307049d2fa25b0056663fa668f3d0.png

任何系统都可以存储这些信息并将其提供给用户。但是您如何知道这些记录都与同一客户相关呢?您可以手动调整它们,想象一下像这样修复成百上千条这样记录的挑战吧。你有时间和资源去做这件事吗?

有效的数据管理使您能够整合、清理和维护您的数据。但这到底需要什么呢?您是否应该优先考虑数据管理解决方案以及它起到的作用?

本文将回答这些问题,并探讨数据管理解决方案如何帮助您克服常见的障碍,获取可利用的数据资产的价值。

认识数据管理

尽管有许多数据爱好者和专业人士热爱数据,但组织并不因为喜欢数据而进行数据管理。他们做数据管理,因为总是有业务原因。

组织使用数据管理来改善客户体验,增加收入,通过操作提高效率降低成本,或者满足法规要求。这些监管指令包括政府规定的报告,或遵守《一般数据保护条例》(GDPR)等风险、欺诈或隐私法规。

为了获得准确的报告和分析或其他操作所需的干净、完整和当前的数据,您必须有一个全面的数据管理底座。作为战略资产,您的组织所从事的理解、清理、集成、治理、控制和监控数据的所有活动对于您的数据管理平台至关重要。

数据管理平台涉及许多能力:

•数据访问,指的是定位和检索存储在任何地方的信息的能力。某些技术可以使这一步尽可能简单和方便,这样你可以花更多的时间使用数据——而不仅仅是试图找到它。

•数据质量,指的是确保数据准确并可用于其预期目的的实践。这从数据被访问的那一刻开始,并通过与其他数据的各种集成点继续——甚至包括发布或报告之前的集成点。

•数据准备,指的是通常以自助服务的方式,让业务用户能够通过最少的培训来操作他们需要的数据,而且不会给数据的提供和转换带来负担。

•数据整合,指的是允许组合不同类型的数据,通常在一夜之间,在所谓的提取、转换和加载(ETL)任务中。数据虚拟化是数据集成的一个子集,它提供了比传统ETL批处理例程更敏捷的功能。它允许您生成数据的动态视图(有时会被隐藏)——不需要移动数据,也不需要中间数据集市来存储数据。

•数据治理,指的是一套持续的规则和决策,用于管理数据,以确保组织的数据战略和业务战略保持一致。它帮助您遵守业务规则,并遵守政府的要求。

b6d2d2dc074fb178b449dbd5281980cd.png

数据管理的好处

数据管理解决方案将上述五种功能合并为端到端解决方案的一部分。有了数据管理平台这样的解决方案,可以实现以下能力:

1、按需获取数据

•当您需要数据时,提供简单、直接和自动的访问。

•整合所有需要的数据,纠正不一致和重复。

•管理分析数据集市和数据湖,提供简化的数据访问。

•在现代化过程中,当你改变数据来源时,让应用程序可以使用你的数据的抽象视图。

•在您选择的环境中运行数据进程。

2、做出可信的数据决策

•配置和验证数据,以更好地理解它。

•建立管理数据内容、质量和结构的业务规则。

•执行复杂的身份解析,建立任何域的单一视图,减少重复的客户条目(帮助改善客户体验)。

•使各部门能够持续监控数据质量,并在问题出现前发出异常。

•提供实时数据服务,防止数据质量问题进入系统。

3、建立数据驱动的业务

•通过确保数据及时、准确并以适当的格式存储用于报告和审计跟踪,确保合规和最小化风险。

•根据数据洞察改进关键数据流的组织方式,以提供更好的可视化和决策。

•通过使用无需培训的自助式数据准备工具,增强业务专业人员的能力。

•创建一个通用词汇表,以弥合业务和IT之间的差别。

•将数据管理任务与公司目标相结合,这样您就可以更有效地与数据进行竞争。

52da05c255a96f3ce55a8c12ff5c2fe8.png

行动从使用数据开始

没有行动,决定就毫无意义。行动是用来改变行为和修复损坏的业务流程的。行动从数据开始。使用数据管理平台,您可以按需获得数据,帮助您做出可以信任的决策,从而运行数据驱动的业务。让我们看看如何做呢。

按需获取数据。这涉及到在正确的时间向正确的人交付正确的数据。不同的用户和情况需要不同级别的数据延迟。例如,要确定与向高价值客户提供新贷款相关的风险,您需要在几秒钟内获得实时数据。但你可以运行隔夜批量更新来确定一张信用卡累积的忠诚积分。对于各种情况,通过不同的延迟和相关成本提供多种访问途径是很重要的。

做出可信的数据决策。现在,您可以在需要的时间段内访问所需的数据。数据是否一致和准确?如果不是,你所做的决定可能是错误的。要做出您可以信任的决策,您需要跨不同竖井或部门的一致的数据视图,这可以通过应用数据质量过程(如标准化或重复数据删除)来实现。您还需要业务组和IT组之间一致的命名和对齐。而且必须在问题的原始源头应用数据质量流程,以确保您不会在每次需要创建报告时都经历这个流程。

建立数据驱动的业务。使用各种流程和技术,您可以开始根据IT项目产生的业务价值对其进行优先排序。商业和IT开始说同一种语言。风险降低了,你也遵守了隐私和其他政策。你根据数据而不是猜测来做决定和采取行动。构建数据驱动的业务可能会因此获得更多的利润。

数据管理的国外案例

有效数据管理的价值在各行各业中得到越来越多的理解,因此看到如此多的组织投资于数据管理解决方案也就不足为奇了。例子包括:

世界自然基金会(WWF)使用数据分析和数据管理来最大化其营销电子运动。其结果是,世界自然基金会的美国分会显著增加了捐款收入,同时降低了收购成本。这意味着更多的资金来保护地球。

得梅因社区学院使用受管理的数据仓库,以确保其数据得到正确管理和准确。该仓库提供整个学院部署的自助报告和分析解决方案。用户可以在没有帮助的情况下安全地查看数据和报告。

奥兰多魔术——一支专业的体育球队——使用数据分析和数据管理成为NBA收入最高的球队之一。

作为希腊最大的私营保险公司,Interamerican开展数据管理来保护个人数据,以保护其系统,并在建立客户信任的同时遵守GDPR。

Ecclesiastical Insurance使用数据管理来提高其数据质量,这是数据治理计划的一部分。这有助于加强承保、再保险和风险选择的决策,并有助于遵守监管规定。

北德克萨斯大学采取数据管理、可视化分析和可视化统计来查看学生成功的关键指标的趋势,揭示出可供调查的模式。这所大学改变了政策和程序,结果留校率上升,学生成绩有所改善,节省了大约45万美元。自从实施数据管理以来,数据分析提供的业务已经为该大学降低了超过100万美元的成本。

Enerjisa使用数据管理的数据质量和数据集成功能来减少重复,将总客户记录的数量减少25%,并获得跨多个源的单个视图。这种对客户的一致、可靠的看法显著提高了成功接触客户的比率。

从哪里开始数据管理

当您准备将数据管理策略付诸实施时,请开始遵循以下数据管理方法。这个循序渐进的过程指导您执行数据管理任务,例如数据质量、数据集成和数据迁移。

该方法指导你建立一个基础,可以帮助优化收入,控制成本和降低风险。所有的阶段都相互作用。因此,在监视阶段评估进度时,您可以(也应该)重新检查最初的计划和操作设计。该方法包括三个阶段:

计划。在其中发现数据并定义用于管理数据的流程和规则。

•行动。设计和执行那些定义的流程。

•监控。当数据流入或流经组织时,对其进行评估和控制。

fcd50e4570f573c7e96e5be9f06885b0.png

1、计划

在计划阶段,您定义数据管理项目中的人员、流程和技术。这个阶段为您提供了时间来发现和分类所有的数据资产。

•人。谁参与,为了什么目的?谁拥有哪些数据、应用程序或进程?

•路线图。我们现在在哪里,我们想去哪里?我们面临哪些障碍?我们的组织目标是什么?

•源系统。我们需要什么数据,这些数据来自哪里?我们能在存储它的任何地方访问它吗,包括云?我们的数据质量如何?

•安全。谁应该访问哪些数据?我们必须满足哪些审计要求?

•业务流程。哪些业务流程是被考虑的?更好的数据如何能增强我们组织的运作?

•业务术语、规则和数据定义。我们如何定义“客户”?如何优化采购和支出?我们是否有一个集中的业务术语表来存储常用的业务术语、它们的所有者和相关的技术元数据?

2、行动

在行动阶段,您的团队应该设计一个能够满足您所有数据需求并执行您的业务流程的系统。对所使用的所有不同的数据结构、格式、源和提要进行评估。然后通过以下方面来巩固和协调数据管理活动:

•一致的规则。您的最终目标是拥有一组可以集中存储但跨所有数据源、应用程序和业务线部署的业务规则。在这里,您可以使用在计划阶段设计的规则,创建和部署在数据上执行的数据流程,以丰富或清理数据。

•一致的数据模型。数据模型是数据如何映射到业务的唯一的、权威的来源。结构良好的数据模型允许您识别适当的源系统,并开始协调多个视图。

•一致的业务流程。这里,您的目标是在每个数据管理任务中涉及的所有业务流程之间提供一致性。

•一致的模型部署。分析模型是关键业务决策的核心。专注于数据准备、模型开发、模型测试、部署、监控、重新校准,然后再返回——这样您就可以尽可能快地自动化更多的决策。

3、监控

一个健康的数据生命周期需要与不断发展的业务保持同步的健壮的监视和报告系统——业务可能经常采用新的合作伙伴、新数据、新举措和新产品。所有这些更改都需要反映在您的数据中。要获得一致的、经过验证的业务视图,您必须一致地监视您的数据。在这个阶段,你应该:

•监控。当数据进入您的组织时,监视和验证它是否遵守您的规则。与此同时,不断监控你的规则,以确保它们仍然满足你的业务需求。

•审查。将您的规则和需求合并到单个环境中。

•优化。集中数据管理规则,这样您就可以立即在整个组织中共享更改,而无需重复工作。

•可视化。通过捆绑报表快速、轻松地可视化数据运行状况级别,并在需要时创建新报表。

自测组织数据管理状态

关于数据管理问自己以下几个关键问题:

•您信任您的数据吗?它是否易于访问、清理、集成和监控?

•你知道在你的组织中哪些人使用哪种类型的数据吗?

•是否有一个系统在数据流入或流经组织时进行分析?

•您的IT部门能跟上业务的需求吗?

•您的业务用户是否可以自助访问他们需要的数据,以做出更好的决策并采取行动?

•你知道如何使用你的数据来帮助你竞争吗?

•你支持企业战略吗?你能从锁定在组织内的数据中获得更多价值吗?

•你能否弥补管理数据或做出更好决策所需的技能差距?

当您的组织面临不断增长的数据量和数据源、日益复杂的监管需求以及使用更少资源完成更多任务的压力时,就必须开始数据管理工作了。

相关文章
|
9月前
透过现象看创本质的能力-从忒休斯之船到系统论
透过现象看创本质的能力-从忒休斯之船到系统论
|
23天前
|
运维 数据可视化 持续交付
如何解决技术债
本文介绍了技术债的概念及其影响。技术债是指在开发过程中因选择快速解决方案而非最优方法而产生的额外工作量。文章指出,技术债可能导致项目中出现如流水线失败、无用代码、难以理解的代码等问题。还强调了管理技术债的重要性,因为它会影响软件的交付速率和质量。有效的管理包括识别技术债、可视化问题、分析优先级、制定执行计划和持续改进。建议团队通过价值/成本矩阵来确定优先解决的技术债,并通过建立技术规范、服务责任人制度和持续关注技术趋势来预防和解决技术债。此外,应确保持续投入资源进行技术优化,并与团队和客户分享改进成果,以维持软件的高质量和稳定性。
64 1
|
7月前
|
Cloud Native Go Python
当面试遇到难题:解决棘手问题的三大策略
当面试遇到难题:解决棘手问题的三大策略
95 0
|
12月前
|
设计模式 小程序 测试技术
面对复杂问题时,系统思考助你理解问题本质
面对复杂问题时,系统思考助你理解问题本质
172 0
|
12月前
|
机器学习/深度学习 算法 计算机视觉
模型落地困难?看看这个如何解决PTQ的振荡问题(一)
模型落地困难?看看这个如何解决PTQ的振荡问题(一)
133 0
|
12月前
|
算法 数据挖掘 计算机视觉
模型落地困难?看看这个如何解决PTQ的振荡问题(二)
模型落地困难?看看这个如何解决PTQ的振荡问题(二)
160 0
|
敏捷开发 架构师 项目管理
架构师才能看懂的大型网站架构面临的挑战:业务架构的基本思路
业务架构的基本思路 大型网站系统有很多功能,一次性明确所有的功能需求并设计出一个庞大的业务架构是一件费力不讨好的事情。因为在项目前期,难免会忽视一些琐碎功能,而随着开发的进行,也会有很多新的想法产生,基本上不会存在完全按照最初的业务架构设计完成的软件产品。因此,业务架构不仅要做到“规整功能模块,厘清产品业务逻辑”,更重要的是如何做到“有规划性地应对项目过程中的需求变更”。
|
机器学习/深度学习 数据采集 人工智能
事实表明糟糕的数据将会扼杀优秀的人工智能
本文介绍了有助于确保企业的人工智能系统不会由于数据质量问题而受到阻碍的五个规则。
182 0
|
物联网 5G 网络架构
带你读《6G需求与愿景》第二章现有 5G 网络的分析与挑战2.3 5G 网络存在的不足与挑战(一)
《6G需求与愿景》第二章现有 5G 网络的分析与挑战2.3 5G 网络存在的不足与挑战
|
存储 算法 业务中间件
「技术人生」第4篇:技术、业务、组织的一般规律及应对策略
本文讨论了如何让技术一号位能够从理论上、以宏观的视角看清日常工作息息相关的事物的发展规律,从而为顺应规律办事或者创造条件打破规律提供理论依据。
9297 0
「技术人生」第4篇:技术、业务、组织的一般规律及应对策略