聊聊 ISO 8000-150的数据质量监控

简介: 在有关ISO 8000:150的第三篇文章中,我们将研究数据质量监控过程,这些过程构成了标准中定义的数据质量管理方法的一部分。

在有关ISO 8000:150的第三篇文章中,我们将研究数据质量监控过程,这些过程构成了标准中定义的数据质量管理方法的一部分。

d9194814f9b795dd9cce156b069a4224.png 

数据质量监控流程定义了一种评估数据质量级别的系统方法:

   数据质量计划设置数据质量管理的目标,使其与组织目标保持一致

   数据质量标准管理程序设置了评估数据质量的措施和方法

   数据质量测量是利用这些数据质量标准来评估数据质量水平的过程

   与侧重于数据质量“领先”因素的数据操作流程不同,这些流程侧重于“滞后”指标,即确定质量水平。

   一、数据质量计划

   尽管许多人和组织将获得“完美”的数据作为理想,但事实是实现此目标的时间/精力/成本是不现实的。因此,数据质量计划过程为数据质量管理设定了组织的总体数据质量目标。这包括确保有详细的数据质量计划支持的一致的数据质量管理方法。具体活动包括:

   ■根据内部和外部需求就数据质量达成组织目标并进行管理

   ■管理数据质量管理的保证流程

   ■规划活动以提供所需水平的数据质量,包括特定任务、时间表、资源和预算

   ■控制影响数据质量的因素

   ■获得数据质量计划的管理层支持

   该活动与其他数据质量过程的关系:

   ■与数据体系结构管理过程对接以通知该过程

   ■数据质量计划的结果还将通知管理流程

   ■数据质量计划为数据质量标准管理过程提供了框架

   二、数据质量标准管理

   为了交付数据质量计划,需要能够评估当前的数据质量水平。这涉及建立许多数据质量标准(也可以称为数据质量规则),其中详细说明数据的有效性、完整性、唯一性和准确性的特定测试。此过程的两个主要活动是:

   ■确定数据质量标准、目标数据和测量方法

   ■根据数据质量测量结果完善数据质量标准

   此过程与框架中的其他一些过程的关联:

   ■数据质量标准将由整体数据质量计划告知

   ■制定的数据质量标准是数据质量度量过程的关键输入

   ■数据设计也将是制定数据质量标准过程的关键输入

   数据质量标准应包括:

   ■数据质量标准的描述

   ■标准代表什么

   ■数据不符合标准的后果

   ■标准的状态–例如,提议的、定期的、临时的

   ■标准的主要利益相关者

   ■相关数据源和分析方法

   ■报告频率

   ■按组织和职能确定质量水平

   三、数据质量度量

   我们已经为组织设定了总体质量目标并制定了数据质量标准,但是,我们尚未评估数据的实际质量!数据质量度量过程利用数据质量规则来度量当前数据质量,这可以手动完成,也可以通过特定工具完成。还应该对数据质量度量进行适当的分析和介绍,以便为更广泛的组织和利益相关者提供信息。此过程由“数据质量标准管理”过程告知,并且是“数据错误原因分析”过程和“数据错误校正”过程的关键输入。

   总体而言,这些过程应使组织能够对照总体数据质量目标水平来监控其当前数据质量水平。因此,这些可以被视为数据质量的“滞后”指标。本系列的下一篇文章将讨论“数据质量改进”。

相关文章
|
3月前
|
数据采集 存储 消息中间件
数据质量监控系统设计
数据质量监控系统设计
|
4月前
|
数据采集 存储 监控
聊聊大数据质量监控的那些事
聊聊大数据质量监控的那些事
69 0
|
5月前
|
JSON 运维 安全
系统日志规范及最佳实践(2)
系统日志规范及最佳实践
100 0
系统日志规范及最佳实践(2)
|
5月前
|
运维 监控 安全
系统日志规范及最佳实践(1)
系统日志规范及最佳实践
278 0
|
6月前
|
监控 安全 Perl
制定维护计划:基于企业级网络监控软件的安全审计:使用Perl脚本进行漏洞扫描
在今天的企业网络环境中,安全审计和漏洞扫描变得至关重要。本文将介绍如何使用Perl脚本结合企业级网络监控软件进行安全审计,监控到的数据将自动提交到网站。我们将通过代码示例来说明如何执行漏洞扫描。
175 0
|
9月前
|
数据采集 监控 数据管理
数据质量最佳实践(4):支持范围和多级分区质量监控+按项目和个人管理数据质量【Dataphin V3.11】
在Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。 在Dataphin V3.11版本中,质量新增了下面两个能力: 1、针对复杂的业务分区的校验能力 2、按照项目和个人管理数据质量
378 0
|
10月前
|
JSON 运维 Prometheus
面向多告警源,如何构建统一告警管理体系?
面向多告警源,如何构建统一告警管理体系?
|
11月前
|
人工智能 安全 架构师
【数据治理】引导您制定有效数据治理计划的 7 个步骤
【数据治理】引导您制定有效数据治理计划的 7 个步骤
|
11月前
|
数据采集 存储 监控
数据质量最佳实践(2):异常数据归档
在Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。 在实际的质量管理过程中,经常需要通过查看异常数据,来确定质量问题产生的原因,从而针对性的修复质量问题,下面我们一起来看下Dataphin质量模块的异常数据归档能力。
|
11月前
|
数据采集 存储 监控
数据质量最佳实践(2):通过归档和分析异常数据,快速定位质量问题
在Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。 在实际的质量管理过程中,经常需要通过查看异常数据,来确定质量问题产生的原因,从而针对性的修复质量问题,下面我们一起来看下Dataphin质量模块的异常数据归档能力。
418 0
数据质量最佳实践(2):通过归档和分析异常数据,快速定位质量问题

相关课程

更多