数据治理-数据质量

简介: 数据质量、能力等级

一、数据质量需求

数据质量需求明确数据质量目标,根据业务需求及数据要求制定用来衡量数据质量的规则,包括衡量数据质量的技术指标、业务指标以及相应的校验规则与方法。

数据质量需求是度量和管理数据质量的依据,需要依据组织的数据管理目标、业务管理的需求和行业的监管需求并参考相关标准来统一制定、管理。同时进行数据质量核验也是为了进一步的加强数据治理,保证数据治理的结果行之有效。

二、数据质量需求过程描述

①定义数据质量管理目标,依据组织管理的需求,参考外部监管的要求,明确组织数据质量管理目标。

②定义数据质量评价维度,依据组织数据质量管理的目标,制定组织数据质量评估维度,指导数据质量评价工作的开展;

③明确数据质量管理范围,依据组织业务发展的需求以及常见数据问题的分析,明确组织数据质量管理的范围,梳理各类数据的优先级以及质量需求;

④设计数据质量规则,依据组织的数据质量管理需求及目标,识别数据质量特性,定义各类数据的质量评价指标、校验规则与方法,并根据业务发展需求及数据质量检查分析结果对数据质量规则进行持续维护与更新。

三、数据质量需求过程目标

①为形成明确的数据质量管理目标

②为明确各类数据质量管理需求

③为建立持续更新的数据质量规则库

四、数据质量能力等级标准

①第1级:初始级:在项目中分析了数据质量的管理要求,并进行了相关的管理。

②第2级:受管理级:

1.制定数据质量需求相关模板,明确相关管理规范;

2.在组织或业务部门识别了关键数据的质量需求;

3.设计满足本业务部门需求的数据质量评价指标,并建立了数据质量规则库。

③第3级:稳健级:

1.明确组织层面的数据质量目标,统一数据质量需求相关模板、管理机制;

2.建立数据认责机制,明确各类数据管理人员以及相关职责,制定各类数据的优先级和质量管理需求;

3.数据质量目标的制定考虑了外部监管、合规方面的要求;

4.设计组织统一的数据质量评价体系以及相应的规则库;

5.明确新建项目中数据质量需求的管理制度,统一管理权限。

④第4级:量化管理级:

1.数据质量需求能满足业务管理的需要,融入数据生存周期管理的各个阶段;

2.数据质量评价指标体系的制定参考了国家、行业相关标准;

3.量化衡量数据质量规则运行的有效性,持续改善优化数据质量规则库。

⑤第5级:优化级:在业界分享最佳实践,成为行业标杆。

五、数据质量检查过程

①制定数据质量检查计划,根据组织数据质量管理目标的需要,制定统一的数据质量检查计划;

②数据质量情况剖析,首先根据计划对系统中的数据进行剖析,查看数据的值域分布、填充率、规范性等,切实掌握数据质量实际情况。

③数据质量校验,依据预先配置的规则、算法,对系统中的数据进行校验。

④数据质量问题管理,包括问题记录、问题查询、问题分发和问题跟踪。

六、数据质量检查成果描述

数据质量检查根据数据质量规则中的有关技术指标和业务指标、校验规则与方法对组织的数据质量情况进行实时监控,从而发现数据质量问题,并向数据管理人员进行反馈。


目录
相关文章
|
云栖大会 BI 决策智能
开放下载!阿里云数据中台全系白皮书,一次性放送19本,速速收藏
2020云栖大会“阿里云数据中台”会场全面推出数据中台全系白皮书,全面了解阿里云数据中台,尽在阿里云数据中台系列白皮书!
37750 0
开放下载!阿里云数据中台全系白皮书,一次性放送19本,速速收藏
|
数据采集 存储 分布式计算
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
27116 2
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
|
11月前
|
监控 关系型数据库 MySQL
数据治理平台Datavines
【10月更文挑战第20天】随着数据量的增长和数字化转型的推进,数据治理成为关键议题。Datavines是一个开源的数据治理平台,提供数据目录、概览及质量检查等功能,帮助用户全面了解和管理数据,确保数据的准确性和有效性。通过简单的部署和配置,即可快速启动使用,支持数据源配置、质量监控及作业管理等核心功能。
2058 10
|
8月前
|
CDN
阿里云CDN怎么收费?看这一篇就够了,CDN不同计费模式收费价格全解析
阿里云CDN的费用由基础费用和增值费用组成。基础费用有三种计费方式:按流量、按带宽峰值和月结95带宽峰值,默认为按流量计费,价格根据使用量阶梯递减。增值费用包括静态HTTPS请求、QUIC请求等,按实际使用量收费,不使用不收费。具体收费标准和详细规则可参考阿里云官方页面。
|
11月前
|
数据采集 人工智能 监控
揭秘数据治理:七步工作法&十大准则全解析
数据治理的“七步工作法”与“十大准则”为企业构建科学、系统、高效的数据治理体系提供了重要的指导和借鉴。企业应结合自身实际情况,灵活运用这些方法和准则,充分挖掘数据潜能,赋能业务创新,实现数字化转型的稳健推进。
1020 0
|
存储 Docker 容器
containerd容器运行时快速入门使用指南
关于containerd容器运行时的快速入门使用指南,涵盖了镜像管理、容器管理、NameSpace管理、数据持久化、镜像推送至Harbor仓库以及Docker与Containerd集成等内容。
1102 1
containerd容器运行时快速入门使用指南
|
监控 安全 网络安全
如何构建安全的网络基础设施:全面指南
【8月更文挑战第2天】构建安全的网络基础设施是一个复杂而持续的过程,需要企业从规划、设计、实施到维护等各个环节都给予足够的重视和投入。通过全面的风险评估、合理的安全策略、科学的设计方案、严格的实施流程和持续的监控优化,可以为企业打造一个坚不可摧的网络安全防线。在这个过程中,企业应始终保持对新技术和新威胁的敏锐洞察力,不断优化和完善安全体系,确保网络基础设施的安全稳定运行。
|
Oracle 安全 Java
JDK收费的各个版本(记录一下)
JDK收费的各个版本(记录一下)
12509 1
|
数据采集 监控 安全
Dataphin数据治理系列:数据标准助力企业全链路数据治理
作为资产治理的重要一环,Dataphin 数据标准功能为标准的统一管理提供了灵活的产品化能力支持,同时也能减少人工监控成本,为标准的落地执行提供了强有力的保障,以提升企业整体数字能力建设的标准化成熟和资产的健康度。
Dataphin数据治理系列:数据标准助力企业全链路数据治理
|
存储 Kubernetes Cloud Native
全面掌握 Kubernetes:部署、管理和扩展云原生应用
Kubernetes 是一个强大的云原生应用部署、管理和扩展平台,提供了丰富的功能和工具。通过本文的介绍,您应该能够了解 Kubernetes 的基本概念、核心组件,以及如何使用 Kubernetes 部署、管理和扩展云原生应用。同时,了解到 Kubernetes Dashboard 作为一个图形化工具,可以更方便地管理集群中的资源和应用程序。在实际应用中,深入学习和实践 Kubernetes 将有助于更好地掌握云原生应用的部署和管理。
653 1
全面掌握 Kubernetes:部署、管理和扩展云原生应用