👉🏻 场景
在上一篇Tips中,我们介绍了「固定任务触发调度」 的方式执行质量规则,这种方式适用于涉及表数据更新的任务节点不会发生变更的场景。但当我们需要定期查看、检查某些数据质量问题时,更适合使用「定时调度」的方式进行规则配置和执行。
👉🏻 功能 / 解决方案
Dataphin 数据质量的 「定时调度」 功能,支持用户根据业务需求精确地设定质量检测的时间和频率,定时对数据进行质量检测。目前支持以下两种调度设置方式:
- 手动配置:按日/周/月/小时/分钟自定义检测时间;
- 系统自动推荐:根据该表产出任务的平均结束时间自动计算,减少人工判断成本。
假设小明是某项目的质量管理员,需要每周一早上定时查看项目内所有表的数据质量情况。那么,他可以通过 Dataphin 的「定时调度」功能轻松完成这个需求,我们具体操作步骤如下:
- 进入「治理」-「数据质量」-「质量规则」,点击「添加质量规则」,为需要检测的数据表配置具体的质量规则。在规则配置页面中,圈选需要监控的项目、表以及字段,并完成规则的各类细节设定。
- 接着,选中刚刚完成配置的质量规则,在规则列表中点击「配置调度」按钮,为该批规则设定调度时间。
- 在调度新建页面中,给任务命名,并选择调度类型为「定时调度」。设置运行周期为每周一早上 6:00,最后点击「确定」,完成该质量规则的调度配置。配置完成后,系统将在未来的每周一早上 6:00,自动进行质量检测。
- 质量调度配置完成并生效后,系统将在设定时间自动执行质量校验,并生成质量报告,方便小明快速定位问题数据进行整改。
- 当质量校验通过时,会生成一条新的检测记录,结果为“通过”;
- 当质量校验不通过时,会生成一条新的检测记录,结果为“不通过”。