全链路数据治理-3

简介: 全链路数据治理-3

4. 配置数据质量监控

本步骤将指导您如何监控数据质量、设置表的质量监控规则和监控提醒等。

  1. 进入表ods_log_info_d的监控规则页面。

1.1 在Chromium网页浏览器,切换至数据开发页签。单击左上方的图标,选择全部产品>数据治理>数据质量

1.2 在左侧导航栏中,选择规则配置>按表配置

1.3 在按表配置页面,单击ods_log_info_d表后的配置监控规则

  1. 配置表ods_log_info_d的监控规则。

2.1 在分区表达式模块,单击 图标

2.1 在添加分区对话框中,分区表达式选择dt=$[yyyymmdd-1],单击确认

2.3 在表ods_log_info_d的监控规则页面,单击创建规则

2.4 在创建规则面板中,选择模板规则>添加监控规则

2.5 在创建规则面板中,根据如下配置相关参数,其他配置保持默认,单击批量添加

说明 该规则主要是为了避免分区中没有数据,导致下游任务的数据来源为空的问题。

参数说明:

  • 规则名称:输入ods_log_info_d表规则。
  • 强弱:选择强。
  • 规则模板:选择表行数,固定值。
  • 比较方式:选择大于。

返回如下页面,您已成功为ods_log_info_d表添加表规则。

  1. 测试正常调度试跑。

3.1 在配置表ods_log_info_d的监控规则页面,单击试跑

3.2 试跑对话框中,单击试跑

3.3 试跑对话框中,单击试跑成功!点击查看试跑结果

返回如下页面,您可查看到调度结果是正常的。由于调度数据同步正常,表行数大于0,所以试跑结果显示正常。

  1. 测试失败调度试跑。

4.1 Chromium网页浏览器中,切换至数据开发页面。在临时查询面板,右键单击临时查询,选择新建节点>ODPS SQL

4.2 在新建节点对话框中,单击提交

4.3 在SQL查询页签,输入如下SQL语句,删除ods_log_info_d表中数据。

说明:SQL语句中字段dt的${bdp.system.bizdate}表示业务日期。例如,任务运行的日期为20180717,则业务日期为20180716,即任务运行日期的前一天。

truncate table ods_log_info_d partition(dt=${bdp.system.bizdate});

4.4 在参数对话框中,单击确定

4.5 在费用预估对话框,单击运行

返回结果如下,表示您已成功删除删除ods_log_info_d表中数据。

4.6 Chromium网页浏览器切换至数据质量页面,单击试跑

4.6 在试跑对话框中,单击试跑

4.7 在试跑对话框中,单击试跑成功!点击查看试跑结果

返回如下页面,您可查看到调度结果是红色异常的。由于调度数据同步正常,表行数为0,所以试跑结果显示红色异常。


目录
相关文章
|
SQL 分布式计算 监控
全链路数据治理
本场景主要介绍以常见的真实的海量日志数据分析任务为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
|
SQL 分布式计算 DataWorks
带你读《全链路数据治理-全域数据集成》之25:4. 配置任务
带你读《全链路数据治理-全域数据集成》之25:4. 配置任务
228 1
|
SQL 分布式计算 DataWorks
带你读《全链路数据治理-全域数据集成》之35:4.任务配置(下)
带你读《全链路数据治理-全域数据集成》之35:4.任务配置(下)
141 0
带你读《全链路数据治理-全域数据集成》之35:4.任务配置(下)
|
分布式计算 运维 Java
带你读《全链路数据治理-全域数据集成》之36:5. 任务运维
带你读《全链路数据治理-全域数据集成》之36:5. 任务运维
205 0
|
SQL 运维 关系型数据库
带你读《全链路数据治理-全域数据集成》之31:5. 任务运维
带你读《全链路数据治理-全域数据集成》之31:5. 任务运维
197 0
|
DataWorks 关系型数据库 网络安全
带你读《全链路数据治理-全域数据集成》之19:5. 场景(上)
带你读《全链路数据治理-全域数据集成》之19:5. 场景(上)
223 0
|
分布式计算 DataWorks MaxCompute
带你读《全链路数据治理-全域数据集成》之33:2. 使用限制
带你读《全链路数据治理-全域数据集成》之33:2. 使用限制
143 0
|
DataWorks 关系型数据库 MySQL
带你读《全链路数据治理-全域数据集成》之28:2. 使用限制
带你读《全链路数据治理-全域数据集成》之28:2. 使用限制
128 0
带你读《全链路数据治理-全域数据集成》之23:2. 使用限制
带你读《全链路数据治理-全域数据集成》之23:2. 使用限制
162 0
|
DataWorks 关系型数据库 网络安全
带你读《全链路数据治理-全域数据集成》之19:5. 场景(下)
带你读《全链路数据治理-全域数据集成》之19:5. 场景(下)
177 0