如何解决现实世界数据的挑战

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 假设你正在努力通过“了解你的客户”来改善客户体验。或许你符合了BCBS 239或欧洲的GDPR等监管要求,以避免罚款。或者你可以通过从月度勘探清单中删除重复的项目来削减成本。

假设你正在努力通过“了解你的客户”来改善客户体验。或许你符合了BCBS 239或欧洲的GDPR等监管要求,以避免罚款。或者你可以通过从月度勘探清单中删除重复的项目来削减成本。

无论你的目的是什么,如果你想做出最好的决定,拥有准确的数据是第一步。我们当然不缺乏数据,仅仅拥有大量的数据并不一定会帮助你回答重大问题、理解问题或做出更快、更好的决策。为了获得竞争优势,保持盈利或满足客户,你必须能够根据数据告诉你的洞察采取行动。

不幸的是,尽管在数据管理技术和工具上有了进步,许多人还是被数据淹没了。大量的IT数据通常以不同的格式和系统分布在部门、团队和位置,比如云,阻碍了报告和分析。如果不同的系统或报告之间存在差异,你可能会花太多的时间寻找和清理数据——这些时间本可以更好地用于分析、通信或响应。即使在每月的质量检查中修正了数据,也没有改变造成数据质量挑战的系统性问题或根本原因。

你是否吸取了教训中的经验,并将其自动应用到数据管理中——这样下个月你就不用再把时间浪费在整合和清理数据上了?

我们看一个简单的例子,其中几个系统包含同一个人的不同版本和名字。

017307049d2fa25b0056663fa668f3d0.png

任何系统都可以存储这些信息并将其提供给用户。但是您如何知道这些记录都与同一客户相关呢?您可以手动调整它们,想象一下像这样修复成百上千条这样记录的挑战吧。你有时间和资源去做这件事吗?

有效的数据管理使您能够整合、清理和维护您的数据。但这到底需要什么呢?您是否应该优先考虑数据管理解决方案以及它起到的作用?

本文将回答这些问题,并探讨数据管理解决方案如何帮助您克服常见的障碍,获取可利用的数据资产的价值。

认识数据管理

尽管有许多数据爱好者和专业人士热爱数据,但组织并不因为喜欢数据而进行数据管理。他们做数据管理,因为总是有业务原因。

组织使用数据管理来改善客户体验,增加收入,通过操作提高效率降低成本,或者满足法规要求。这些监管指令包括政府规定的报告,或遵守《一般数据保护条例》(GDPR)等风险、欺诈或隐私法规。

为了获得准确的报告和分析或其他操作所需的干净、完整和当前的数据,您必须有一个全面的数据管理底座。作为战略资产,您的组织所从事的理解、清理、集成、治理、控制和监控数据的所有活动对于您的数据管理平台至关重要。

数据管理平台涉及许多能力:

•数据访问,指的是定位和检索存储在任何地方的信息的能力。某些技术可以使这一步尽可能简单和方便,这样你可以花更多的时间使用数据——而不仅仅是试图找到它。

•数据质量,指的是确保数据准确并可用于其预期目的的实践。这从数据被访问的那一刻开始,并通过与其他数据的各种集成点继续——甚至包括发布或报告之前的集成点。

•数据准备,指的是通常以自助服务的方式,让业务用户能够通过最少的培训来操作他们需要的数据,而且不会给数据的提供和转换带来负担。

•数据整合,指的是允许组合不同类型的数据,通常在一夜之间,在所谓的提取、转换和加载(ETL)任务中。数据虚拟化是数据集成的一个子集,它提供了比传统ETL批处理例程更敏捷的功能。它允许您生成数据的动态视图(有时会被隐藏)——不需要移动数据,也不需要中间数据集市来存储数据。

•数据治理,指的是一套持续的规则和决策,用于管理数据,以确保组织的数据战略和业务战略保持一致。它帮助您遵守业务规则,并遵守政府的要求。

b6d2d2dc074fb178b449dbd5281980cd.png

数据管理的好处

数据管理解决方案将上述五种功能合并为端到端解决方案的一部分。有了数据管理平台这样的解决方案,可以实现以下能力:

1、按需获取数据

•当您需要数据时,提供简单、直接和自动的访问。

•整合所有需要的数据,纠正不一致和重复。

•管理分析数据集市和数据湖,提供简化的数据访问。

•在现代化过程中,当你改变数据来源时,让应用程序可以使用你的数据的抽象视图。

•在您选择的环境中运行数据进程。

2、做出可信的数据决策

•配置和验证数据,以更好地理解它。

•建立管理数据内容、质量和结构的业务规则。

•执行复杂的身份解析,建立任何域的单一视图,减少重复的客户条目(帮助改善客户体验)。

•使各部门能够持续监控数据质量,并在问题出现前发出异常。

•提供实时数据服务,防止数据质量问题进入系统。

3、建立数据驱动的业务

•通过确保数据及时、准确并以适当的格式存储用于报告和审计跟踪,确保合规和最小化风险。

•根据数据洞察改进关键数据流的组织方式,以提供更好的可视化和决策。

•通过使用无需培训的自助式数据准备工具,增强业务专业人员的能力。

•创建一个通用词汇表,以弥合业务和IT之间的差别。

•将数据管理任务与公司目标相结合,这样您就可以更有效地与数据进行竞争。

52da05c255a96f3ce55a8c12ff5c2fe8.png

行动从使用数据开始

没有行动,决定就毫无意义。行动是用来改变行为和修复损坏的业务流程的。行动从数据开始。使用数据管理平台,您可以按需获得数据,帮助您做出可以信任的决策,从而运行数据驱动的业务。让我们看看如何做呢。

按需获取数据。这涉及到在正确的时间向正确的人交付正确的数据。不同的用户和情况需要不同级别的数据延迟。例如,要确定与向高价值客户提供新贷款相关的风险,您需要在几秒钟内获得实时数据。但你可以运行隔夜批量更新来确定一张信用卡累积的忠诚积分。对于各种情况,通过不同的延迟和相关成本提供多种访问途径是很重要的。

做出可信的数据决策。现在,您可以在需要的时间段内访问所需的数据。数据是否一致和准确?如果不是,你所做的决定可能是错误的。要做出您可以信任的决策,您需要跨不同竖井或部门的一致的数据视图,这可以通过应用数据质量过程(如标准化或重复数据删除)来实现。您还需要业务组和IT组之间一致的命名和对齐。而且必须在问题的原始源头应用数据质量流程,以确保您不会在每次需要创建报告时都经历这个流程。

建立数据驱动的业务。使用各种流程和技术,您可以开始根据IT项目产生的业务价值对其进行优先排序。商业和IT开始说同一种语言。风险降低了,你也遵守了隐私和其他政策。你根据数据而不是猜测来做决定和采取行动。构建数据驱动的业务可能会因此获得更多的利润。

数据管理的国外案例

有效数据管理的价值在各行各业中得到越来越多的理解,因此看到如此多的组织投资于数据管理解决方案也就不足为奇了。例子包括:

世界自然基金会(WWF)使用数据分析和数据管理来最大化其营销电子运动。其结果是,世界自然基金会的美国分会显著增加了捐款收入,同时降低了收购成本。这意味着更多的资金来保护地球。

得梅因社区学院使用受管理的数据仓库,以确保其数据得到正确管理和准确。该仓库提供整个学院部署的自助报告和分析解决方案。用户可以在没有帮助的情况下安全地查看数据和报告。

奥兰多魔术——一支专业的体育球队——使用数据分析和数据管理成为NBA收入最高的球队之一。

作为希腊最大的私营保险公司,Interamerican开展数据管理来保护个人数据,以保护其系统,并在建立客户信任的同时遵守GDPR。

Ecclesiastical Insurance使用数据管理来提高其数据质量,这是数据治理计划的一部分。这有助于加强承保、再保险和风险选择的决策,并有助于遵守监管规定。

北德克萨斯大学采取数据管理、可视化分析和可视化统计来查看学生成功的关键指标的趋势,揭示出可供调查的模式。这所大学改变了政策和程序,结果留校率上升,学生成绩有所改善,节省了大约45万美元。自从实施数据管理以来,数据分析提供的业务已经为该大学降低了超过100万美元的成本。

Enerjisa使用数据管理的数据质量和数据集成功能来减少重复,将总客户记录的数量减少25%,并获得跨多个源的单个视图。这种对客户的一致、可靠的看法显著提高了成功接触客户的比率。

从哪里开始数据管理

当您准备将数据管理策略付诸实施时,请开始遵循以下数据管理方法。这个循序渐进的过程指导您执行数据管理任务,例如数据质量、数据集成和数据迁移。

该方法指导你建立一个基础,可以帮助优化收入,控制成本和降低风险。所有的阶段都相互作用。因此,在监视阶段评估进度时,您可以(也应该)重新检查最初的计划和操作设计。该方法包括三个阶段:

计划。在其中发现数据并定义用于管理数据的流程和规则。

•行动。设计和执行那些定义的流程。

•监控。当数据流入或流经组织时,对其进行评估和控制。

fcd50e4570f573c7e96e5be9f06885b0.png

1、计划

在计划阶段,您定义数据管理项目中的人员、流程和技术。这个阶段为您提供了时间来发现和分类所有的数据资产。

•人。谁参与,为了什么目的?谁拥有哪些数据、应用程序或进程?

•路线图。我们现在在哪里,我们想去哪里?我们面临哪些障碍?我们的组织目标是什么?

•源系统。我们需要什么数据,这些数据来自哪里?我们能在存储它的任何地方访问它吗,包括云?我们的数据质量如何?

•安全。谁应该访问哪些数据?我们必须满足哪些审计要求?

•业务流程。哪些业务流程是被考虑的?更好的数据如何能增强我们组织的运作?

•业务术语、规则和数据定义。我们如何定义“客户”?如何优化采购和支出?我们是否有一个集中的业务术语表来存储常用的业务术语、它们的所有者和相关的技术元数据?

2、行动

在行动阶段,您的团队应该设计一个能够满足您所有数据需求并执行您的业务流程的系统。对所使用的所有不同的数据结构、格式、源和提要进行评估。然后通过以下方面来巩固和协调数据管理活动:

•一致的规则。您的最终目标是拥有一组可以集中存储但跨所有数据源、应用程序和业务线部署的业务规则。在这里,您可以使用在计划阶段设计的规则,创建和部署在数据上执行的数据流程,以丰富或清理数据。

•一致的数据模型。数据模型是数据如何映射到业务的唯一的、权威的来源。结构良好的数据模型允许您识别适当的源系统,并开始协调多个视图。

•一致的业务流程。这里,您的目标是在每个数据管理任务中涉及的所有业务流程之间提供一致性。

•一致的模型部署。分析模型是关键业务决策的核心。专注于数据准备、模型开发、模型测试、部署、监控、重新校准,然后再返回——这样您就可以尽可能快地自动化更多的决策。

3、监控

一个健康的数据生命周期需要与不断发展的业务保持同步的健壮的监视和报告系统——业务可能经常采用新的合作伙伴、新数据、新举措和新产品。所有这些更改都需要反映在您的数据中。要获得一致的、经过验证的业务视图,您必须一致地监视您的数据。在这个阶段,你应该:

•监控。当数据进入您的组织时,监视和验证它是否遵守您的规则。与此同时,不断监控你的规则,以确保它们仍然满足你的业务需求。

•审查。将您的规则和需求合并到单个环境中。

•优化。集中数据管理规则,这样您就可以立即在整个组织中共享更改,而无需重复工作。

•可视化。通过捆绑报表快速、轻松地可视化数据运行状况级别,并在需要时创建新报表。

自测组织数据管理状态

关于数据管理问自己以下几个关键问题:

•您信任您的数据吗?它是否易于访问、清理、集成和监控?

•你知道在你的组织中哪些人使用哪种类型的数据吗?

•是否有一个系统在数据流入或流经组织时进行分析?

•您的IT部门能跟上业务的需求吗?

•您的业务用户是否可以自助访问他们需要的数据,以做出更好的决策并采取行动?

•你知道如何使用你的数据来帮助你竞争吗?

•你支持企业战略吗?你能从锁定在组织内的数据中获得更多价值吗?

•你能否弥补管理数据或做出更好决策所需的技能差距?

当您的组织面临不断增长的数据量和数据源、日益复杂的监管需求以及使用更少资源完成更多任务的压力时,就必须开始数据管理工作了。

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
6月前
|
安全 数据库连接 PHP
PHP编程中的关键性技术探究
在当今信息化社会,PHP作为一种流行的服务器端脚本语言,已经被广泛应用于网站开发和动态网页生成等领域。本文将深入探讨PHP编程中的关键性技术,包括数据库连接、安全性防护、性能优化等方面,旨在帮助读者更好地理解和运用PHP语言。
|
1月前
|
机器学习/深度学习 人工智能 监控
提升软件质量的关键路径:高效测试策略与实践在软件开发的宇宙中,每一行代码都如同星辰般璀璨,而将这些星辰编织成星系的过程,则依赖于严谨而高效的测试策略。本文将引领读者探索软件测试的奥秘,揭示如何通过精心设计的测试方案,不仅提升软件的性能与稳定性,还能加速产品上市的步伐,最终实现质量与效率的双重飞跃。
在软件工程的浩瀚星海中,测试不仅是发现缺陷的放大镜,更是保障软件质量的坚固防线。本文旨在探讨一种高效且创新的软件测试策略框架,它融合了传统方法的精髓与现代技术的突破,旨在为软件开发团队提供一套系统化、可执行性强的测试指引。我们将从测试规划的起点出发,沿着测试设计、执行、反馈再到持续优化的轨迹,逐步展开论述。每一步都强调实用性与前瞻性相结合,确保测试活动能够紧跟软件开发的步伐,及时适应变化,有效应对各种挑战。
|
6月前
|
开发框架 缓存 安全
说一说你在移动应用开发中遇到的最大挑战是什么,你是如何解决的?
【4月更文挑战第1天】移动应用开发挑战包括设备兼容性、性能、网络连接、UI/UX设计、安全和用户留存。解决策略涉及跨平台框架、性能分析、离线功能、用户研究、安全编码及营销策略。通过这些方法,开发者能应对挑战,打造优质应用。
83 0
说一说你在移动应用开发中遇到的最大挑战是什么,你是如何解决的?
|
6月前
|
机器学习/深度学习 人工智能 供应链
传统算法是如何在销补调计划中发挥作用的
传统算法是如何在销补调计划中发挥作用的
|
设计模式 小程序 测试技术
面对复杂问题时,系统思考助你理解问题本质
面对复杂问题时,系统思考助你理解问题本质
242 0
|
算法 数据挖掘 计算机视觉
模型落地困难?看看这个如何解决PTQ的振荡问题(二)
模型落地困难?看看这个如何解决PTQ的振荡问题(二)
198 0
|
机器学习/深度学习 算法 计算机视觉
模型落地困难?看看这个如何解决PTQ的振荡问题(一)
模型落地困难?看看这个如何解决PTQ的振荡问题(一)
197 0
|
存储 机器学习/深度学习 监控
谈谈为什么亟待建立数据隐私保护策略
数据的爆炸性增长是一把双刃剑。一方面,它有助于世界上最具颠覆性和具有创新的公司塑造竞争优势,开发全新的产品和服务。
谈谈为什么亟待建立数据隐私保护策略
|
数据采集 自动驾驶 物联网
带你读《6G需求与愿景》第二章现有 5G 网络的分析与挑战2.15G 网络的三大场景(一)
《6G需求与愿景》第二章现有 5G 网络的分析与挑战2.1 5G 网络的三大场景
带你读《6G需求与愿景》第二章现有 5G 网络的分析与挑战2.15G 网络的三大场景(一)
|
物联网 5G 网络架构
带你读《6G需求与愿景》第二章现有 5G 网络的分析与挑战2.3 5G 网络存在的不足与挑战(一)
《6G需求与愿景》第二章现有 5G 网络的分析与挑战2.3 5G 网络存在的不足与挑战