数据治理-数据质量

简介: 数据质量、能力等级

一、数据质量需求

数据质量需求明确数据质量目标,根据业务需求及数据要求制定用来衡量数据质量的规则,包括衡量数据质量的技术指标、业务指标以及相应的校验规则与方法。

数据质量需求是度量和管理数据质量的依据,需要依据组织的数据管理目标、业务管理的需求和行业的监管需求并参考相关标准来统一制定、管理。同时进行数据质量核验也是为了进一步的加强数据治理,保证数据治理的结果行之有效。

二、数据质量需求过程描述

①定义数据质量管理目标,依据组织管理的需求,参考外部监管的要求,明确组织数据质量管理目标。

②定义数据质量评价维度,依据组织数据质量管理的目标,制定组织数据质量评估维度,指导数据质量评价工作的开展;

③明确数据质量管理范围,依据组织业务发展的需求以及常见数据问题的分析,明确组织数据质量管理的范围,梳理各类数据的优先级以及质量需求;

④设计数据质量规则,依据组织的数据质量管理需求及目标,识别数据质量特性,定义各类数据的质量评价指标、校验规则与方法,并根据业务发展需求及数据质量检查分析结果对数据质量规则进行持续维护与更新。

三、数据质量需求过程目标

①为形成明确的数据质量管理目标

②为明确各类数据质量管理需求

③为建立持续更新的数据质量规则库

四、数据质量能力等级标准

①第1级:初始级:在项目中分析了数据质量的管理要求,并进行了相关的管理。

②第2级:受管理级:

1.制定数据质量需求相关模板,明确相关管理规范;

2.在组织或业务部门识别了关键数据的质量需求;

3.设计满足本业务部门需求的数据质量评价指标,并建立了数据质量规则库。

③第3级:稳健级:

1.明确组织层面的数据质量目标,统一数据质量需求相关模板、管理机制;

2.建立数据认责机制,明确各类数据管理人员以及相关职责,制定各类数据的优先级和质量管理需求;

3.数据质量目标的制定考虑了外部监管、合规方面的要求;

4.设计组织统一的数据质量评价体系以及相应的规则库;

5.明确新建项目中数据质量需求的管理制度,统一管理权限。

④第4级:量化管理级:

1.数据质量需求能满足业务管理的需要,融入数据生存周期管理的各个阶段;

2.数据质量评价指标体系的制定参考了国家、行业相关标准;

3.量化衡量数据质量规则运行的有效性,持续改善优化数据质量规则库。

⑤第5级:优化级:在业界分享最佳实践,成为行业标杆。

五、数据质量检查过程

①制定数据质量检查计划,根据组织数据质量管理目标的需要,制定统一的数据质量检查计划;

②数据质量情况剖析,首先根据计划对系统中的数据进行剖析,查看数据的值域分布、填充率、规范性等,切实掌握数据质量实际情况。

③数据质量校验,依据预先配置的规则、算法,对系统中的数据进行校验。

④数据质量问题管理,包括问题记录、问题查询、问题分发和问题跟踪。

六、数据质量检查成果描述

数据质量检查根据数据质量规则中的有关技术指标和业务指标、校验规则与方法对组织的数据质量情况进行实时监控,从而发现数据质量问题,并向数据管理人员进行反馈。


目录
相关文章
|
存储 缓存 文件存储
如何保证分布式文件系统的数据一致性
分布式文件系统需要向上层应用提供透明的客户端缓存,从而缓解网络延时现象,更好地支持客户端性能水平扩展,同时也降低对文件服务器的访问压力。当考虑客户端缓存的时候,由于在客户端上引入了多个本地数据副本(Replica),就相应地需要提供客户端对数据访问的全局数据一致性。
32698 79
如何保证分布式文件系统的数据一致性
|
前端开发 容器
HTML5+CSS3前端入门教程---从0开始通过一个商城实例手把手教你学习PC端和移动端页面开发第8章FlexBox布局(上)
HTML5+CSS3前端入门教程---从0开始通过一个商城实例手把手教你学习PC端和移动端页面开发第8章FlexBox布局
17751 20
|
设计模式 存储 监控
设计模式(C++版)
看懂UML类图和时序图30分钟学会UML类图设计原则单一职责原则定义:单一职责原则,所谓职责是指类变化的原因。如果一个类有多于一个的动机被改变,那么这个类就具有多于一个的职责。而单一职责原则就是指一个类或者模块应该有且只有一个改变的原因。bad case:IPhone类承担了协议管理(Dial、HangUp)、数据传送(Chat)。good case:里式替换原则定义:里氏代换原则(Liskov 
36682 19
设计模式(C++版)
|
存储 编译器 C语言
抽丝剥茧C语言(初阶 下)(下)
抽丝剥茧C语言(初阶 下)
|
机器学习/深度学习 人工智能 自然语言处理
带你简单了解Chatgpt背后的秘密:大语言模型所需要条件(数据算法算力)以及其当前阶段的缺点局限性
带你简单了解Chatgpt背后的秘密:大语言模型所需要条件(数据算法算力)以及其当前阶段的缺点局限性
24758 14
|
机器学习/深度学习 弹性计算 监控
重生之---我测阿里云U1实例(通用算力型)
阿里云产品全线降价的一力作,2023年4月阿里云推出新款通用算力型ECS云服务器Universal实例,该款服务器的真实表现如何?让我先测为敬!
36660 15
重生之---我测阿里云U1实例(通用算力型)
|
SQL 存储 弹性计算
Redis性能高30%,阿里云倚天ECS性能摸底和迁移实践
Redis在倚天ECS环境下与同规格的基于 x86 的 ECS 实例相比,Redis 部署在基于 Yitian 710 的 ECS 上可获得高达 30% 的吞吐量优势。成本方面基于倚天710的G8y实例售价比G7实例低23%,总性价比提高50%;按照相同算法,相对G8a,性价比为1.4倍左右。
|
存储 算法 Java
【分布式技术专题】「分布式技术架构」手把手教你如何开发一个属于自己的限流器RateLimiter功能服务
随着互联网的快速发展,越来越多的应用程序需要处理大量的请求。如果没有限制,这些请求可能会导致应用程序崩溃或变得不可用。因此,限流器是一种非常重要的技术,可以帮助应用程序控制请求的数量和速率,以保持稳定和可靠的运行。
29838 52

热门文章

最新文章

下一篇
开通oss服务