谈谈数据标准化是数据有效流动的基础

简介: 技术的变革正在打破市场平衡。大数据、数据分析、人工智能(AI)和物联网(IoT)正在改变组织间联系和互动的方式。

   技术的变革正在打破市场平衡。大数据、数据分析、人工智能(AI)和物联网(IoT)正在改变组织间联系和互动的方式。在整个变革过程中,我们需要找到将数据结构化为统一格式的方法,以便能够在多个程序中进行分析和利用,如分析工具和人工智能算法、CRM和ERP系统等。

   标准化是能够将数据从多个系统的不同格式规范为单一可用格式的关键基础工作,也称为规范化,它将类似的值标准化为统一的属性,作为处理、分发、操作和分析数据的基础,以便它可以流经业务系统,并在正确的时间到达正确的目的地,执行正确的操作。

   列奥纳多·达·芬奇说过:“水是所有自然界的驱动力。

   数据需要通过你的技术生态系统和他们的应用程序和平台,不仅使你的经营管理有效运作,而且还支持客户更好的体验和扩展。数据需要满足消费者,无论是程序还是人,它必须清洁的、卫生的、适合使用的。必须对数据进行清理、标准化、丰富和细分,以便有效地执行和分析活动,从而获得成功的结果和收益。

   虽然数据标准化应该尽早进行,甚至在数据进入应用之前进行,但规范化和标准化还需要在业务运营中持续进行。

   一、为什么数据标准化很重要

   你在想,标准化真的那么重要吗?在我看来,这只是在格式化....

   就像水一样,如果没有对我们的数据进行持续有效的处理,当我们打开水龙头时,水龙头就会流出一堆乱七八糟的东西。因此,流经我们技术堆栈的干净数据从标准化开始。

   如果我们的数字化生态系统没有标准化数据的基础,如果数据不符合平台或应用分类,公式就会失败,错误就会成为规范,重要业务流程的进展就会减缓。

   未经标准化的数据对业务将有严重影响:

■多平台/应用程序效率低下甚至失败;

■较差的数据细分和分析;

■减少数据在自动化过程中流动的能力,增加了手工流程,增加了时间和费用成本;

■重复的数据记录;

■较差的数据属性。

   所有这些因素结合在一起会导致失去机会、投资回报率和经济收益。标准化后,数据可以过滤和细分,为您的业务创建有意义的行动和结果,如:

■通过应用程序和平台,高效地传递有价值的数据;

■数据的细分和良好的决策支持;

■有效的个性化与定制内容的目标;

■改进分析来跟踪成功、费用、ROI;

■简化数据流到BI和AI工具。

   二、标准化的四个步骤

   1. 理解数据以及需要它做什么

   您需要分析您的流程并反过来来理解数据在什么情况下扮演什么角色。多问几个问题....

“这个域的数据是有用的,还是多余的?”

“这些数据被消耗了吗?谁消耗了这些数据?他们用这些数据做了什么?”

“这些数据能帮助我们做决定吗?它能指导我们采取行动吗?我们能让它变得更有意义吗?”

“它是否被其他平台/应用程序使用;它是否需要满足特定的需求才能顺利进入其他平台?”

   确定是否可以对数据进行分组,以便能够一致地规范化大型数据集,例如状态属性。确定您是否将使用数据来推断分析,例如将邮政编码分组形成一个地区,以及数据的结构是否会影响您完成这一任务的能力。

   当您已经确定了有价值的字段和数据的使用情况,需要考虑在字段完整方面是否存在明显的空缺,或者是否有您不需要的特定数据?如果您没有足够的完整字段或没有特定的数据,请考虑在标准化之前添加或补充以获得所需的数据。

   下面是一些常见的字段,它们通常用于特定的对象。虽然帐户信息在销售平台的客户端上是不可用的(紫色显示),但如果从数据标准化管理系统提供到CRM系统使用,就可以使用这些信息。

1f15f034ac8363d80bdb020dc951a688.png

   规范化的字段是由对信息生态系统中的流程、平台和应用程序的彻底分析所确定的数据需求以及最终用户需求决定的。

   2. 理解数据的输入点

   业务操作的复杂性意味着数据需要从多个系统不同维度输入。这些包括营销自动化平台、网站web表单、电子邮件、第三方供应商补充数据、购买的潜在客户列表、来自会议的数据和手动输入的数据。每种输入都需要单独处理的系统,所以你可能会在同一个公司名称上得到以下不同的数据:

Ring Lead

RingLead

Ringlead

RingLead Ltd.

RingLead Inc.

   这可能导致多个帐户记录无法精确匹配跨多个记录进行的重复数据删除和重复更新,从而损害数据的单一真实性和信任来源。

   3.定义数据标准,让数据最大流动

   诸如职位、行业、省份、国家等数据通常用于多个不同的应用程序场景,因此准确性和一致性是必不可少的。下面是一些如何使用数据的例子。

b3f7c1243c43546571167eb0b7bfbbd7.png

下面是通常几种标准化数据的通用方法。

1f35ff3cd69b4c77001a0f822559e9d0.png

   最后,考虑是否使用字段数据进行外部信息交换,以及数据是否需要以某种方式表示。在选择数据使用什么标准时,确保您了解了要将其用于什么用途,以及哪些应用程序和最终用户对该数据有需求。然后对数据进行分组和标准化,以满足这些需求。

   4. 使用数据管理平台规范化数据

   虽然每个系统都有自己的规范化标准,但它依赖于验证防止输入非标准化数据。当输入非标准数据时,这可能会让人感到沮丧,并且会减慢工作进程,甚至在数据不“适合”时停止进程。通过使用数据标准化平台,可以很容易地规范化数据并协同执行其他数据清理工作。

   批处理或批量更新使数据标准化是对标准化平台中已有数据处理的好方法。预先构建的批标准化模板应具有易于使用的接口,可以将数据统一为标准格式。并且可以自定义它们,并使用过滤器、字段映射和规范化规则来标准化大小写和格式,修复输入错误和字段内数据错误。

   三、总结

   数据标准化是确保数据集可以与其他数据集进行比较的过程,也是每个使用数据的人在收集、清理或分析数据之前应该考虑的东西。当数据可以比较时,才是最有价值的。例如,你很高兴知道你的项目今年帮助了150人,但这并不意味着你明年应该做什么。如果与去年相比下降了50%,显然你需要做出一些改变。如果这是50%的增长,那么你就知道你的方向是正确的!数据标准化是为了确保数据属性格式是一致的;也就是说,每种数据类型具有相同的属性和格式。

相关文章
|
1月前
|
存储 数据采集 监控
CDGA\如何建立实现数据治理的效率价值框架:实践案例解析
数据治理是一个持续优化的过程。组织应建立健全的监督与评估机制,定期对数据治理工作进行评估,发现问题及时整改。广东药科大学通过数据全景图和数据监控大屏,实现了对数据治理成果的动态、多维度呈现与监控,为科学管理决策提供了有力支撑。
|
3月前
|
存储 监控 安全
|
3月前
|
存储 弹性计算 文件存储
就软件研发问题之创建数据流动任务的问题如何解决
就软件研发问题之创建数据流动任务的问题如何解决
|
3月前
|
对象存储
就软件研发问题之创建和管理数据流动及其任务的问题如何解决
就软件研发问题之创建和管理数据流动及其任务的问题如何解决
|
3月前
|
存储 网络安全 文件存储
就软件研发问题之在创建数据流动时配置的问题如何解决
就软件研发问题之在创建数据流动时配置的问题如何解决
数据治理的本质:体系化建模(1)
数据治理的本质:体系化建模
182 0
|
SQL 数据建模 BI
数据治理的本质:体系化建模(2)
数据治理的本质:体系化建模
144 0
|
数据采集 人工智能 监控
谈谈数据治理能力发展曲线【请对号入座】
理解什么是数据治理,为什么它处于实现价值的关键路径上,以及如何在组织中具体部署它,可能是一条漫长的道路。
谈谈数据治理能力发展曲线【请对号入座】
|
数据采集 分布式计算 架构师
现代数据架构的核心特征:“1个中心+10个强化”
本文总结了现代数据架构的主要特征,并为正在开发新数据战略的组织提供参考。
现代数据架构的核心特征:“1个中心+10个强化”
|
数据采集 存储 架构师
谈谈如何理解数据建模也是数据治理的一种形式
数据建模是数据治理的一种形式。我们将数据治理定义为“执行和实施”对数据和与数据有关的资产的定义、生产和使用的权威。
谈谈如何理解数据建模也是数据治理的一种形式
下一篇
无影云桌面