谈谈数据标准如何制定

简介: 数据标准是打破数据孤岛和创建互操作性或在不同系统和组织之间交换数据的能力的关键。

数据标准是打破数据孤岛和创建互操作性或在不同系统和组织之间交换数据的能力的关键。

标准对于创建数据完整性也是必要的,以确保数据保持其价值和意义,并且是可用的、一致的和准确的。在这个不断变化的环境中,努力通过共享数据来协作和管理数据的团队需要一种更好的方法来处理所有方面的数据,尤其是对数据的治理和管理。

一、什么是数据标准

数据标准是根据所有数据用户的期望统一描述数据的属性的集合。

主要包括以下内容:要收集的字段、字段是如何相互关联的、字段数据类型、验证规则、需要在哪里以及如何映射到其他系统。

数据标准的实施成功有助于:获得每个工作流的上下文、减少不一致和重复、最大化可用性、访问和理解。

以数字营销为例,以下是在没有标准的情况下数据的情况。

4fd1ba2a1efc1bdfa7c4a5b7fa798bdb.png

注意这是如何比较从各种常见营销来源收集的数据:电子邮件、显示广告、社交媒体、移动营销和内容营销。从这些来源创建和收集的同一个活动中的策略、跟踪、性能和其他数据,这些模型不仅不同,而且彼此之间缺乏比较的字段。

即使不同的数据追踪的是同一件事,它们追踪的方式也可能不同。比如“24 SNEAKER”而不是“24- SNEAKER”这样简单的事情可能看起来微不足道,但实际上会对其他想要使用、分析和测量这些数据的团队和平台造成重大干扰。

04a87b9e6404af9b21eacaa90b64c268.png

不标准化的数据就像讲不同语言甚至没有翻译的情况下在联合国进行对话交流。下面是基于数据标准的数据:

f0e952fd3ff3244dd541134468efd607.png

根据数据标准,每个数据集都包含相同类型和宽度的信息。

69e12afc46731fca4921062285b428df.png

至关重要的是,这种标准化数据允许每个团队和工具共享数据语言。这就像走进联合国,每个人都在说美式英语。

识别键或核心ID可以通过统一和丰富数据集,将它们纳入标准并将其元数据传递给其他标准化集来进一步推动标准化。

da926386bfa1a42773f02c51e9b57628.png

这种基于标准化的数据统一允许更广泛和更精确的测量。

10a42ecd390fbf656fef017a2a32afc2.png

所以,可以从可靠可信的数据中分析和得出见解。这是数据标准的主要好处,下面我们看看一些更具体的积极结果。

二、数据标准的核心价值

标准提高了产品和服务的质量、有效性和可靠性。企业数据也是如此,下面是数据标准建设的核心价值:

提高数据质量,降低错误数据决策的成本;

在检索期间提供高效、一致的结果;

支持元数据管理,从关键数据集获得最大价值;

支持在团队之间重用数据元素以实现多种应用;

减少系统之间的冗余,提高工作效率和工作流程;

加速项目交接,通过跨平台的简单过渡减少瓶颈;

提供上下文,以便用户能够识别模式、不规范和共性;

通过创建一种通用语言来促进协作;

以最小的破坏促进技术更改、迁移和升级;

通过聚集数据进行分析和优化来改进测量;

通过标准化营销团队和外部合作伙伴之间的营销分类来提高活动绩效;

提供满足数据隐私要求的优秀客户体验;

更好地利用机器学习或人工智能(AI);

支持商业智能和数据驱动的决策制定。

三、数据标准示例

我们可能没有意识到这一点,但我们每天都会遇到标准。例如,ISO 9000。数据标准的例子无处不在——全球数据标准、国家数据标准、行业数据标准等等。

无论是政府机构还是企业,遵守数据标准和利用互操作性都会带来无数好处,从优化业务流程到增加收入。下面我们深入研究营销数据标准示例。

营销数据标准化创造了互联性,这样就会有很多的应用场景,比如规模化的动态个性化;更复杂的分析场景;为机器学习和人工智能系统提供干净、丰富的数据等。

下面看一下常见的活动用例,大多数组织都有营销分类,这是品牌最终希望每个人都使用的数据语言。但他们需要能够将这些付诸行动,并在最重要的因素之间建立关系。通常,统一的字段可能是活动ID,但也可能是创意ID、品牌名称或渠道。

d27703b679951430509eab7bc9395d48.png

因此,营销数据标准的建立是为了在每个数据收集和创建点捕获一组一致的字段和元数据。这可能包括以下标准:品牌或公司标识、渠道、活动、出版商、客户、设备、行为等。

21d4ba68a5103e2d44c864e3c8f9bbb9.png

我们还需要考虑团队、地区、渠道或合作伙伴的个性需求。因此,在不同的团队和工作流中,这些可能会被额外的标准进一步分解,如位置、内容类型、资产大小和该数据情况特有的其他属性,这将进一步丰富数据视图。这不仅提供了更广泛的可比较的、可测量的数据,而且更准确、更完整地看待这些数据。

ac87af25bcfe152b4648c5526e214d76.png

通过维护关键属性,可以保持数据连接,即使需要细微的差别。这些属性和ID可以跨渠道连接数据,为分析和决策开辟新的视角。

930fda20694de6363ded548628af6fd8.png

此外,这些数据标准可以汇集来自分散在全球各地的团队的数据。不仅从自己的地区或国家视角考虑,而且从国际数据的聚合中获取渠道级别的洞察力。四、如何创建数据标准

创建数据标准是一个需要跨团队协作、规划、文档开发、实施和考虑所集成的系统和技术标准的过程。标准也可能随着需求的变化和组织的发展而发展。实施数据标准通常从创建分类开始,以定义关键数字资产中的数据和元标记。虽然标准统治着网络,但大多数企业并没有建立自己的标准,因为:

•数据需求很难定义,尤其是随着业务和技术需求的发展。

•孤岛很普遍,这使得访问或使用已建立的数据格式具有挑战性。

•工具难以互通,从而限制了整个组织的数据实用性。

当然,可以利用现有的行业数据标准。例如,营销组织所依赖的机构——W3C、IAB和 Schema.org——创建了标准来促进跨网络、移动设备和广告平台的一致数字体验。但这并没有解决为满足其独特的组织需求而收集和生成的数据的标准需求。遵循以下步骤,通过为每个团队、工具和合作伙伴实现一种通用语言,进入更高级的数据策略。

1. 确定目标

弄清楚想要捕获的数据实现什么,然后专注于技术影响。

2. 确定关键利益相关者

识别每个数据所有者,包括任何外部合作伙伴,例如代理机构或供应商,以便可以对元数据字段做出决策。包括数据科学家和数据分析师,以识别他们必须清理的现有非标准化数据或数据集。

3.安排协调会议

与利益相关者会面,讨论他们拥有的数据和他们需要的数据,这样就可以创建一个满足每个人需求的分类。同时,标准的力量取决于其被采用的程度——这就是为什么支持是最重要的。

4. 定义核心业务领域

检查收集的信息并寻找可用作核心业务字段和特定渠道字段的一致性领域。

5. 创建数据字典3cb75837e013c415c98ac15d1accce58.png

为整个组织可以利用的新术语、数据元素和格式(或发送到销售和营销工具、内容管理系统、Web 管理系统、云存储环境等)建立文档,如数据字典。

4313e9e45c7ec12a5df7514deee96061.png

6. 定义数据标准

定义数据标准规定了收集和存储数据的方式,以实现最大的可用性。同时,重新调整为集中管理的数据语言可以创建满足每个团队需求的一致性。

数据标准定义将具体化为:

•可引用字段、模式、动力列表和分类等元素;

•这些元素应该如何协同工作的数据模型。

理想情况下,定义和执行数据标准时,它们可以灵活地适应数据策略的演变。随着组织和数字环境的发展,可能需要进行调整、更改和重新分类,以确保标准化数据提供最佳结果。

7. 将数据标准应用于组织和工作流程

假设所有利益相关者都同意提议的数据标准,那么是时候实施它们了。此实施会将数据标准嵌入到它们已经工作的方式中。这将消除导致错误、不一致和错误决策的孤岛。 必须对团队进行数据标准培训,以达成共识并在整个组织内实现数据管理。 应用数据标准意味着必须解决以下问题:

访问:授权数据标准的访问和所有权,以保护其完整性并允许正确的利益相关者进行必要的更新。

界面:为数据标准提供熟悉且可访问的门户

管理:验证、搜索、过滤、编辑、审查和创建符合标准的数据

总而言之,必须让人们可以轻松访问和使用数据标准。

8. 连接和激活技术堆栈中的数据标准

启动数据标准计划最困难但也是最关键的部分可能是将其与团队使用的大量工具联系起来。无论您将多少仪表板、数据聚合器、ETL、清理或丰富解决方案塞入堆栈,工具仍然只是在做自己的事情。他们没有互相交互,甚至没有说同一种语言。

需要利用工具及其数据流,将数据标准连接到数据创建点。最好通过数据标准平台来实现,该平台具有预先构建的集成,可以满足这些解决方案不断变化的需求。

五、数据战略就是商业战略

数据标准不足或缺失会导致数据质量低下,这个问题已经使组织平均每年损失 1500 万美元。随着大数据的兴起、SaaS 的蔓延和技术的进步,情况可能会变得更糟——更不用说数据隐私法以及第三方 Cookie和设备级 ID 的弃用了。 “一切照旧”或没有数据标准的运营是不可持续的,尤其是在竞争对手精通数字技术的情况下。

首席数据官(CDO) 日益普遍的角色,他们的任务是将数据转化为组织最有价值的资产,并使用数据来推动业务发展。他们的职责涵盖数据治理、运营、数字创新、业务分析、营销数据等。组织必须实施各种数据标准,采用标准可以提高整体数据质量和数据完整性,这对于数据驱动决策至关重要。

相关文章
|
6月前
|
安全 项目管理
一文搞懂需求流程规范的制定方法和落地技巧
随着业务和产品的发展、团队的不断扩大,很多团队都不可避免的会遇到需求流程混乱的问题。虽然有的团队也编写了一些“需求流程规范”的文档,但最终却流于纸面,难以在团队真正落地。如何科学制定并有效落实需求管理规范呢?对此,云效产品经理陈逊进行了非常详细的直播分享,本文是他经验的文字总结。
102164 19
|
6月前
|
运维 Devops 专有云
PPT & 回放|如何制定如何制定科学有效的需求流程规范
需求流程规范的制定方法和落地实施技巧
591 0
|
4天前
|
安全 物联网 物联网安全
制定统一的物联网技术标准和规范的难点有哪些?
制定统一的物联网技术标准和规范的难点有哪些?
14 2
|
1月前
|
数据采集 存储 数据处理
数据治理:如何制定数据标准与规范
在当今这个数据驱动的时代,数据已成为企业最宝贵的资产之一。然而,随着数据量的爆炸性增长和数据来源的多样化,如何有效地管理和利用这些数据成为了企业面临的重大挑战。数据治理作为确保数据质量、安全性、合规性和可访问性的关键过程,其核心在于制定并执行一套科学、合理的数据标准与规范。本文将探讨如何制定数据标准与规范,以推动企业的数据治理实践。
|
5G 网络架构 芯片
5G 标准的制定过程 | 带你读《5G 无线系统设计与国际标准》之三
ITU 在开发移动通信无线接口标准方面有着悠久的历史,包括制定 IMT-2000 和IMT-Advanced 在内的国际移动通信(IMT)标准框架,贯穿了整个 3G 和 4G 行业发展。
5G 标准的制定过程  | 带你读《5G 无线系统设计与国际标准》之三
|
3月前
|
监控 NoSQL 安全
质量标准化实践问题之资源投入评估环节需要遵守的规范内容如何解决
质量标准化实践问题之资源投入评估环节需要遵守的规范内容如何解决
47 2
|
5月前
|
UED 开发者
W3C标准制定流程
【6月更文挑战第1天】W3C标准制定流程
70 8
|
5月前
|
XML 安全 前端开发
W3C规范的重要性是什么?
【6月更文挑战第1天】W3C规范的重要性是什么?
56 4
|
6月前
|
监控 安全 网络安全
网络安全行为可控定义以及表现内容简述
网络安全行为可控定义以及表现内容简述
94 1
|
6月前
|
XML JavaScript 前端开发
Web标准是一系列由W3C和其他组织制定的规范
【5月更文挑战第26天】Web标准是一系列由W3C和其他组织制定的规范
65 2