4. 配置数据质量监控
本步骤将指导您如何监控数据质量、设置表的质量监控规则和监控提醒等。
1、进入表ods_raw_log_d的监控规则页面。
1)在Chromium网页浏览器中,切换至数据开发页签。单击左上方的图标,选择全部产品>数据治理>数据质量。
2)在左侧导航栏中,选择规则配置>按表配置。
3)在按表配置页面,单击ods_raw_log_d表后的配置监控规则。
2、配置表ods_raw_log_d的监控规则。
1)在分区表达式模块,单击+。
2)在添加分区对话框中,分区表达式选择dt=$[yyyymmdd-1],单击确认。
3)在表ods_raw_log_d的监控规则页面,单击创建规则。
4)在创建规则面板中,选择模板规则>添加监控规则。
5)在创建规则面板中,根据如下配置相关参数,其他配置保持默认,单击批量添加。
说明 :该规则主要是为了避免分区中没有数据,导致下游任务的数据来源为空的问题。
参数说明:
- 规则名称:输入ods_raw_log_d表规则。
- 强弱:选择强。
- 规则模板:选择表行数,固定值。
- 比较方式:选择大于。
6)在配置表ods_raw_log_d的监控规则页面,单击试跑。
7)在试跑对话框中,单击试跑。
返回如下结果,您可以单击试跑成功!点击查看试跑结果,即可查看试跑结果。
8)进行关联调度。
数据质量支持和调度任务关联。在表规则和调度任务绑定后,任务实例运行完成都会触发数据质量的检查。
- 在表ods_raw_log_d的监控规则页面,单击关联调度。
- 在关联调度对话框中,任务节点名称输入为oss_数据同步,单击添加。
返回如下页面,表示关联调度成功,单击关闭