Dataphin功能Tips系列(76)质量规则调度配置系列(3)-定时调度

简介: Dataphin「定时调度」功能支持按需设定数据质量检测时间与频率,适用于定期检查数据质量问题的场景。提供手动配置和系统推荐两种方式,可自动执行规则并生成报告,帮助用户高效发现并处理问题。

👉🏻 场景

在上一篇Tips中,我们介绍了「固定任务触发调度」 的方式执行质量规则,这种方式适用于涉及表数据更新的任务节点不会发生变更的场景。但当我们需要定期查看、检查某些数据质量问题时,更适合使用「定时调度」的方式进行规则配置和执行。

👉🏻 功能 / 解决方案

Dataphin 数据质量的 「定时调度」 功能,支持用户根据业务需求精确地设定质量检测的时间和频率,定时对数据进行质量检测。目前支持以下两种调度设置方式:

  • 手动配置:按日/周/月/小时/分钟自定义检测时间;
  • 系统自动推荐:根据该表产出任务的平均结束时间自动计算,减少人工判断成本。

假设小明是某项目的质量管理员,需要每周一早上定时查看项目内所有表的数据质量情况。那么,他可以通过 Dataphin 的「定时调度」功能轻松完成这个需求,我们具体操作步骤如下:

  1. 进入「治理」-「数据质量」-「质量规则」,点击「添加质量规则」,为需要检测的数据表配置具体的质量规则。在规则配置页面中,圈选需要监控的项目、表以及字段,并完成规则的各类细节设定。

  2. 接着,选中刚刚完成配置的质量规则,在规则列表中点击「配置调度」按钮,为该批规则设定调度时间。

  3. 在调度新建页面中,给任务命名,并选择调度类型为「定时调度」。设置运行周期为每周一早上 6:00,最后点击「确定」,完成该质量规则的调度配置。配置完成后,系统将在未来的每周一早上 6:00,自动进行质量检测。


  4. 质量调度配置完成并生效后,系统将在设定时间自动执行质量校验,并生成质量报告,方便小明快速定位问题数据进行整改。
  1. 当质量校验通过时,会生成一条新的检测记录,结果为“通过”;
  2. 当质量校验不通过时,会生成一条新的检测记录,结果为“不通过”。
相关文章
|
4月前
|
机器人 数据中心
Dataphin功能Tips系列(79)精准获知标准更新动态,协同治理更高效
Dataphin支持数据标准变更订阅,可实时通过站内信、邮箱或钉群机器人通知相关人员,确保业务及时响应。用户可通过标准列表、个人中心等入口批量订阅,变更消息包含状态、版本及跳转链接,便于快速查看与处理。
174 8
|
4月前
|
数据采集 运维 调度
Dataphin功能Tips系列(75)质量规则调度配置系列(2)-固定任务触发调度
Dataphin“固定任务触发调度”支持在任务成功或运行前触发质量规则校验。适用于表数据来源任务固定的场景,通过绑定强规则可阻断下游任务,防止脏数据扩散,提升数据质量管控能力。
161 9
|
4月前
|
数据管理
Dataphin功能Tips系列(78)自定义属性助力资产精细化管理
Dataphin V5.3升级自定义属性功能,支持多选、超链接及引用系统属性,实现资产“归口部门”与组织架构同步、指标看板一键跳转等场景,提升资产配置灵活性与管理效率。
156 8
|
4月前
|
数据采集 调度
Dataphin功能Tips系列(74)质量规则调度配置系列(1)-数据更新触发调度
Dataphin通过“数据更新触发调度”功能,结合强规则校验,可在订单表数据更新时自动触发质量检查,异常时阻断下游任务,有效防止脏数据扩散,保障关键业务链路的数据准确性与稳定性。
190 8
|
4月前
|
安全 数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限通过“控制字段”实现精细化数据管控,有效避免传统字段权限过度开放带来的安全风险,提升权限管理效率与灵活性,满足复杂场景下的数据安全需求。
220 4
|
4月前
Dataphin功能Tips系列(77)如何实现数据资产上下架的精准管控与高效流转
在企业数据治理中,Dataphin支持按资产范围灵活配置上下架审批流程。通过标签、项目等条件圈选资产,绑定自定义审批模板,实现核心资产精细管控与大规模资产高效流转的平衡,提升数据运营效率。
166 1
|
4月前
|
数据采集 SQL 数据可视化
Dataphin功能Tips系列(72)一键数据探查,打造高质量数据开发、分析流程
Dataphin数据探查功能助力高效识别数据质量问题,支持手动与自动两种探查模式。通过一键生成质量报告,快速检测空值、异常值、重复值等问题,全面掌握数据分布与健康状况,提升数据准备与分析准确性。
294 7
|
6月前
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
217 8
|
5月前
|
数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限功能通过“控制字段”实现灵活数据管控,支持多表批量绑定与动态授权,有效降低权限管理复杂度,提升数据安全性与管理效率。
139 0

热门文章

最新文章