DataWorks数据质量功能更新

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: DataWorks数据质量模块是支持多种异构数据源的质量校验、通知、管理服务的一站式平台。这次数据质量发布包括质量报告自定义、规则模板库、动态阈值、问题处理及反馈等新功能,得让规则创建更加便捷、数据质量更加可控!

DataWorks数据质量模块是支持多种异构数据源的质量校验、通知、管理服务的一站式平台。这次数据质量发布包括质量报告自定义、规则模板库、动态阈值、问题处理及反馈等新功能,得让规则创建更加便捷、数据质量更加可控!

适用版本:欢迎升级至DataWorks企业版使用。

1 质量报告自定义
支持数据质量报告模板的动态配置,按照报告模板定时生成并发送报告。

2 规则模板库
支持将通用的自定义规则沉淀为模板,统一管理。帮助您提升规则配置的效率。

3 动态阈值
用户不再需要手动设置红、橙色阈值,系统自动根据时序列算法模型检测指标的正确性,使得规则校验更加灵活和智能。

4 问题处理及反馈
对规则校验结果进行处理,对动态阈值报警情况进行反馈。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
1月前
|
DataWorks NoSQL MongoDB
DataWorks常见问题之如何集成离线数据
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
43 1
|
1月前
|
分布式计算 DataWorks 安全
DataWorks常见问题之如何迁移业务流程到其他项目
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
29 0
|
7月前
|
SQL 分布式计算 DataWorks
Dataworks数据建模实验操作记录
数据建模是一个用于定义和分析在组织的信息系统范围内支持商业流程所需的数据要求的过程。简单来说,数据建模是基于对业务数据的理解和数据分析的需要,将各类数据进行整合和关联,使得数据可以最终以可视化的方式呈现,让使用者能够快速地、高效地获取到数据中有价值的信息,从而做出准确有效的决策。
|
9月前
|
分布式计算 调度 MaxCompute
离线整库迁移功能升级 【Dataphin V3.11】
企业首次上云的时候,会有数据表批量同步与同步增全量数据的需求,Dataphin的离线整库迁移提供了生成批量集成管道任务的途径,适用于该场景。在Dataphin V3.11中,整库迁移功能在目标表重名检查与同步方式上都做了功能升级,一起来了解一下吧~
283 0
|
9月前
|
SQL 运维 数据库连接
数据集成:针对离线集成任务超时的优化策略【Dataphin V3.11】
集成任务作为数据中台和外部数据库链接的数据桥梁,常常需要应对与处理复杂的外部数据库与网络环境。一旦外部的数据库出现异常,集成任务就会卡在某个状态:如一直在尝试与数据库连接,或者在数据库过载的时候还在一直在尝试执行SQL……这些异常状态都会导致集成任务无法长时间卡住,无法完成。
176 0
|
数据采集 SQL 分布式计算
DataWorks数据质量模块介绍|学习笔记
快速学习 DataWorks 数据质量模块介绍
409 0
|
数据采集 SQL 运维
|
数据采集 SQL DataWorks
|
存储 分布式计算 DataWorks

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks