数据治理-数据质量

简介: 数据质量、能力等级

一、数据质量需求

数据质量需求明确数据质量目标,根据业务需求及数据要求制定用来衡量数据质量的规则,包括衡量数据质量的技术指标、业务指标以及相应的校验规则与方法。

数据质量需求是度量和管理数据质量的依据,需要依据组织的数据管理目标、业务管理的需求和行业的监管需求并参考相关标准来统一制定、管理。同时进行数据质量核验也是为了进一步的加强数据治理,保证数据治理的结果行之有效。

二、数据质量需求过程描述

①定义数据质量管理目标,依据组织管理的需求,参考外部监管的要求,明确组织数据质量管理目标。

②定义数据质量评价维度,依据组织数据质量管理的目标,制定组织数据质量评估维度,指导数据质量评价工作的开展;

③明确数据质量管理范围,依据组织业务发展的需求以及常见数据问题的分析,明确组织数据质量管理的范围,梳理各类数据的优先级以及质量需求;

④设计数据质量规则,依据组织的数据质量管理需求及目标,识别数据质量特性,定义各类数据的质量评价指标、校验规则与方法,并根据业务发展需求及数据质量检查分析结果对数据质量规则进行持续维护与更新。

三、数据质量需求过程目标

①为形成明确的数据质量管理目标

②为明确各类数据质量管理需求

③为建立持续更新的数据质量规则库

四、数据质量能力等级标准

①第1级:初始级:在项目中分析了数据质量的管理要求,并进行了相关的管理。

②第2级:受管理级:

1.制定数据质量需求相关模板,明确相关管理规范;

2.在组织或业务部门识别了关键数据的质量需求;

3.设计满足本业务部门需求的数据质量评价指标,并建立了数据质量规则库。

③第3级:稳健级:

1.明确组织层面的数据质量目标,统一数据质量需求相关模板、管理机制;

2.建立数据认责机制,明确各类数据管理人员以及相关职责,制定各类数据的优先级和质量管理需求;

3.数据质量目标的制定考虑了外部监管、合规方面的要求;

4.设计组织统一的数据质量评价体系以及相应的规则库;

5.明确新建项目中数据质量需求的管理制度,统一管理权限。

④第4级:量化管理级:

1.数据质量需求能满足业务管理的需要,融入数据生存周期管理的各个阶段;

2.数据质量评价指标体系的制定参考了国家、行业相关标准;

3.量化衡量数据质量规则运行的有效性,持续改善优化数据质量规则库。

⑤第5级:优化级:在业界分享最佳实践,成为行业标杆。

五、数据质量检查过程

①制定数据质量检查计划,根据组织数据质量管理目标的需要,制定统一的数据质量检查计划;

②数据质量情况剖析,首先根据计划对系统中的数据进行剖析,查看数据的值域分布、填充率、规范性等,切实掌握数据质量实际情况。

③数据质量校验,依据预先配置的规则、算法,对系统中的数据进行校验。

④数据质量问题管理,包括问题记录、问题查询、问题分发和问题跟踪。

六、数据质量检查成果描述

数据质量检查根据数据质量规则中的有关技术指标和业务指标、校验规则与方法对组织的数据质量情况进行实时监控,从而发现数据质量问题,并向数据管理人员进行反馈。


目录
相关文章
|
6月前
|
传感器 运维 安全
为什么说数据治理对每个业务主管都很重要
为什么说数据治理对每个业务主管都很重要
|
7月前
|
SQL 分布式计算 监控
全链路数据治理
本场景主要介绍以常见的真实的海量日志数据分析任务为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
226 0
|
5月前
|
SQL 存储 安全
浅谈数据治理
浅谈数据治理
76 0
|
11月前
|
存储 数据采集 安全
【数据治理】什么是数据治理模型?
【数据治理】什么是数据治理模型?
|
SQL DataWorks 数据可视化
全链路数据治理-4
全链路数据治理-4
171 0
|
SQL 分布式计算 运维
全链路数据治理-2
全链路数据治理-2
191 0
全链路数据治理-2
|
数据采集 SQL 分布式计算
全链路数据治理-3
全链路数据治理-3
119 0
|
存储 数据采集 数据管理
说说数据治理中常见的20个问题
数据治理是一项战略计划,用于优化企业处理数据的方式。它旨在组织和改进公司用于定义、收集、存储、保护、管理和货币化业务数据的政策和程序。
|
数据采集 存储 机器学习/深度学习
数据治理的三度修炼
所有企业都需要计划如何使用数据,以便在整个业务中一致地处理和使用数据,以支持业务结果。
数据治理的三度修炼
|
数据采集 数据管理 数据挖掘
数据治理的一疑乙易
在数据爆炸式增长的时代,数据又成为重要的生产要素之一,数据治理就成为很多企业关注的重点。