数据质量最佳实践(4):支持范围和多级分区质量监控+按项目和个人管理数据质量【Dataphin V3.11】

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 在Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。在Dataphin V3.11版本中,质量新增了下面两个能力:1、针对复杂的业务分区的校验能力2、按照项目和个人管理数据质量

Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展这篇文章中,我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。

在Dataphin V3.11版本中,质量新增了下面两个能力:

1、针对复杂的业务分区的校验能力

2、按照项目和个人管理数据质量


一、复杂分区质量监控

1、场景介绍

在多数按日期进行分区的场景下, 质量校验一般仅校验最新的分区,如ds=${yyyyMMdd}。但是在一些特殊业务场景下, 校验分区会有不同。

1、我只是浙江地区的负责人,只想看浙江地区的客户信息是否完整,则可以使用:province="浙江" and ds=${yyyyMMdd};

2、需要在每周日对本周的整体销售数据进行校验,而不是看单日的销售额,则可以使用:ds>${yyyyMMdd-7} and ds<=${yyyyMMdd};


2、产品能力

分区表达式支持非日期参数、多级条件等写法,支持更加复杂的业务场景的质量校验,可以满足以下场景:

1、校验日期是一个范围,而不是单个分区,如:ds>${yyyyMMdd-7} and ds<=${yyyyMMdd};

2、校验范围包含非日期分区,如地区:province="浙江"

3、校验分区是多级分区,如year=${yyyy} and month=${MM} and day=${dd}

配置复杂分区后,后续的质量校验将会按照所配置的分布进行校验,同时下游的质量报告、质量整改等环节,也会按照所配置的分区展示报告和生成治理项。


二、按照项目和个人管理数据质量

1、场景介绍

在实际的业务管控中,质量报告作为表的重要参考信息,一般是全局共享的。但是表的质量校验配置和校验详情,一般需要按照一定的权限范围进行管控,如按照项目或者个人,只有项目成员或者表的负责人可以配置监控和查看敏感数据的监控详情。

本期数据质量模块,支持按照全局、项目、个人三个视角进行质量规则的配置、校验详情的查看、整改工作的处理。

2、产品能力

1、质量校验记录支持按照不同业务视图查看校验详情。

1.1、全局视图:仅超级管理员和质量管理员可使用,可以查看系统中全部的质量规则的校验记录

1.2、项目视角:项目成员可以使用,可以查看本项目下的质量规则的校验记录。不选择具体项目时,默认展示已加入的所有项目的校验记录。

1.3、个人视角:支持查看自己是质量负责人的所有质量规则的校验记录。管理员还可以切换并查看不同成员负责的内容。

2、质量规则支持按照不同视角进行查看和规则配置。可以切换全局、项目、个人三个视角查看质量规则和管理质量规则。

3、质量治理工作台支持按照不同视角推进整改工作。可以切换全局和个人两个视角查看治理任务和进行数据治理。


三、结语

以上就是关于本次新增的质量支持复杂分区校验能力、支持按照项目和个人管理质量的介绍。有关质量模块更多的介绍,详见:

Dataphin数据治理系列:基于数据质量管理,支撑业务快速发展

数据质量最佳实践(1):批量配置质量规则,快速提升质量覆盖率

数据质量最佳实践(2):通过归档和分析异常数据,快速定位质量问题

数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理

相关文章
|
19天前
Dataphin功能Tips系列(10)-质量分计算口径
质量分大盘中的质量分计算口径是什么?
|
19天前
|
SQL 监控 安全
Dataphin V3.11焕新升级丨2大全新模块上线,让数据分析更敏捷、让数据流通更安全
Dataphin V3.11焕新升级丨2大全新模块上线,让数据分析更敏捷、让数据流通更安全
113 0
|
19天前
|
UED
瓴羊Dataphin V3.8 升级速递丨强化数据治理、提升标签洞察力、灵活管理诉求……
瓴羊Dataphin V3.8 升级速递丨强化数据治理、提升标签洞察力、灵活管理诉求……
|
9月前
|
数据采集 监控 数据管理
数据质量最佳实践(5):利用质量分和排行榜提升企业数据质量【Dataphin V3.12】
在数据质量最佳实践(3):通过质量治理工作台,实现质量问题的跟踪和处理这篇文章中,我们详细的介绍了如何通过治理工作台,对系统出现的一个一个具体质量问题进行治理。 但是对于企业整体的数据质量情况,我们该如何评估呢?以及如何寻找当前企业的数据质量短板,并有针对性的进行改进和提升呢? 在Dataphin V3.12版本中,质量新增了质量分的能力,可以给数据表和质量规则配置打分权重和打分方式,从而获得全局、数据源、项目、负责人、数据表等维度的质量打分评估,帮助CDO判断企业整体的数据质量情况和数据质量问题的分布,从而有针对性的提升企业整体的数据质量水平。
432 1
|
10月前
|
机器学习/深度学习 SQL 安全
隐私计算最佳实践(1):如何基于Dataphin隐私计算实现广告精准营销、用户促活
我们在享受数据便利的同时,数据隐私安全问题也成为了困扰。Dataphin隐私计算可以帮助企业在遵循法律法规的要求下,既充分发挥数据的价值,同时又不会影响用户的数据隐私安全。
330 0
隐私计算最佳实践(1):如何基于Dataphin隐私计算实现广告精准营销、用户促活
|
10月前
|
存储 数据采集 监控
数据治理利器Dataphin:数据安全管理3步走,保障全链路数据安全(V3.11版本)
瓴羊Dataphin(智能数据建设与治理),一直在探索数据安全管理能力的产品化最佳实践,即如何帮助企业利用产品工具能力,基于法律法规、主管部门要求和自身行业和业务的需要,建立起规范的分级分类制度,并对敏感数据制定相应的保护策略。企业通过Dataphin构建起合规的数据安全体系,将数据安全风险降至最低,让数据资产在安全合规的基础上,得到最大的价值释放。
681 4
|
10月前
|
SQL 安全 搜索推荐
瓴羊Dataphin升级V3.11,新上线数据分析、隐私计算平台促进数据流通消费
瓴羊旗下开发云核心产品Dataphin(智能数据建设与治理)近期升级到V3.11版本,全新上线Notebook数据分析空间,以及Dataphin隐私计算平台,在数据采、建、管、用的基础上,进一步强化数据消费和数据流通能力,帮助企业用标准化的产品能力,在大数据时代构建起生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产,促进数据价值释放。
14349 3
|
11月前
|
SQL 监控 安全
Dataphin V3.11版本发布啦!多项能力升级,助力企业提升全链路数据治理能力!
Dataphin V3.11 版本,全新上线隐私计算平台、数据分析平台、资产专题,SQL 编辑也做了重大改进优化。为企业建设贯穿事前、事中、事后的全链路数据治理能力添砖加瓦,助力提升资产价值。 在下一个版本中,还有很多其他新增能力与功能升级,敬请期待。
979 0
Dataphin V3.11版本发布啦!多项能力升级,助力企业提升全链路数据治理能力!
|
19天前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
19天前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin