4. 配置数据质量监控
本步骤将指导您如何监控数据质量、设置表的质量监控规则和监控提醒等。
- 进入表ods_log_info_d的监控规则页面。
1.1 在Chromium网页浏览器中,切换至数据开发页签。单击左上方的图标,选择全部产品>数据治理>数据质量。
1.2 在左侧导航栏中,选择规则配置>按表配置。
1.3 在按表配置页面,单击ods_log_info_d表后的配置监控规则。
- 配置表ods_log_info_d的监控规则。
2.1 在分区表达式模块,单击 图标。
2.1 在添加分区对话框中,分区表达式选择dt=$[yyyymmdd-1],单击确认。
2.3 在表ods_log_info_d的监控规则页面,单击创建规则。
2.4 在创建规则面板中,选择模板规则>添加监控规则。
2.5 在创建规则面板中,根据如下配置相关参数,其他配置保持默认,单击批量添加。
说明 :该规则主要是为了避免分区中没有数据,导致下游任务的数据来源为空的问题。
参数说明:
- 规则名称:输入ods_log_info_d表规则。
- 强弱:选择强。
- 规则模板:选择表行数,固定值。
- 比较方式:选择大于。
返回如下页面,您已成功为ods_log_info_d表添加表规则。
- 测试正常调度试跑。
3.1 在配置表ods_log_info_d的监控规则页面,单击试跑。
3.2 在试跑对话框中,单击试跑。
3.3 在试跑对话框中,单击试跑成功!点击查看试跑结果。
返回如下页面,您可查看到调度结果是正常的。由于调度数据同步正常,表行数大于0,所以试跑结果显示正常。
- 测试失败调度试跑。
4.1 在Chromium网页浏览器中,切换至数据开发页面。在临时查询面板,右键单击临时查询,选择新建节点>ODPS SQL。
4.2 在新建节点对话框中,单击提交。
4.3 在SQL查询页签,输入如下SQL语句,删除ods_log_info_d表中数据。
说明:SQL语句中字段dt的${bdp.system.bizdate}表示业务日期。例如,任务运行的日期为20180717,则业务日期为20180716,即任务运行日期的前一天。
truncate table ods_log_info_d partition(dt=${bdp.system.bizdate});
4.4 在参数对话框中,单击确定。
4.5 在费用预估对话框,单击运行。
返回结果如下,表示您已成功删除删除ods_log_info_d表中数据。
4.6 在Chromium网页浏览器中,切换至数据质量页面,单击试跑。
4.6 在试跑对话框中,单击试跑。
4.7 在试跑对话框中,单击试跑成功!点击查看试跑结果。
返回如下页面,您可查看到调度结果是红色异常的。由于调度数据同步正常,表行数为0,所以试跑结果显示红色异常。