全链路数据治理-3

简介: 全链路数据治理-3

4. 配置数据质量监控

本步骤将指导您如何监控数据质量、设置表的质量监控规则和监控提醒等。

  1. 进入表ods_log_info_d的监控规则页面。

1.1 在Chromium网页浏览器,切换至数据开发页签。单击左上方的图标,选择全部产品>数据治理>数据质量

1.2 在左侧导航栏中,选择规则配置>按表配置

1.3 在按表配置页面,单击ods_log_info_d表后的配置监控规则

  1. 配置表ods_log_info_d的监控规则。

2.1 在分区表达式模块,单击 图标

2.1 在添加分区对话框中,分区表达式选择dt=$[yyyymmdd-1],单击确认

2.3 在表ods_log_info_d的监控规则页面,单击创建规则

2.4 在创建规则面板中,选择模板规则>添加监控规则

2.5 在创建规则面板中,根据如下配置相关参数,其他配置保持默认,单击批量添加

说明 该规则主要是为了避免分区中没有数据,导致下游任务的数据来源为空的问题。

参数说明:

  • 规则名称:输入ods_log_info_d表规则。
  • 强弱:选择强。
  • 规则模板:选择表行数,固定值。
  • 比较方式:选择大于。

返回如下页面,您已成功为ods_log_info_d表添加表规则。

  1. 测试正常调度试跑。

3.1 在配置表ods_log_info_d的监控规则页面,单击试跑

3.2 试跑对话框中,单击试跑

3.3 试跑对话框中,单击试跑成功!点击查看试跑结果

返回如下页面,您可查看到调度结果是正常的。由于调度数据同步正常,表行数大于0,所以试跑结果显示正常。

  1. 测试失败调度试跑。

4.1 Chromium网页浏览器中,切换至数据开发页面。在临时查询面板,右键单击临时查询,选择新建节点>ODPS SQL

4.2 在新建节点对话框中,单击提交

4.3 在SQL查询页签,输入如下SQL语句,删除ods_log_info_d表中数据。

说明:SQL语句中字段dt的${bdp.system.bizdate}表示业务日期。例如,任务运行的日期为20180717,则业务日期为20180716,即任务运行日期的前一天。

truncate table ods_log_info_d partition(dt=${bdp.system.bizdate});

4.4 在参数对话框中,单击确定

4.5 在费用预估对话框,单击运行

返回结果如下,表示您已成功删除删除ods_log_info_d表中数据。

4.6 Chromium网页浏览器切换至数据质量页面,单击试跑

4.6 在试跑对话框中,单击试跑

4.7 在试跑对话框中,单击试跑成功!点击查看试跑结果

返回如下页面,您可查看到调度结果是红色异常的。由于调度数据同步正常,表行数为0,所以试跑结果显示红色异常。


目录
相关文章
|
6月前
|
传感器 运维 安全
为什么说数据治理对每个业务主管都很重要
为什么说数据治理对每个业务主管都很重要
|
7月前
|
SQL 分布式计算 监控
全链路数据治理
本场景主要介绍以常见的真实的海量日志数据分析任务为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
228 0
|
5月前
|
SQL 存储 安全
浅谈数据治理
浅谈数据治理
77 0
|
11月前
|
SQL 运维 关系型数据库
带你读《全链路数据治理-全域数据集成》之31:5. 任务运维
带你读《全链路数据治理-全域数据集成》之31:5. 任务运维
149 0
|
11月前
|
分布式计算 运维 Java
带你读《全链路数据治理-全域数据集成》之36:5. 任务运维
带你读《全链路数据治理-全域数据集成》之36:5. 任务运维
156 0
|
SQL DataWorks 数据可视化
全链路数据治理-4
全链路数据治理-4
171 0
|
SQL 分布式计算 运维
全链路数据治理-2
全链路数据治理-2
193 0
全链路数据治理-2
|
分布式计算 DataWorks 数据建模
全链路数据治理-全域数据集成
全链路数据治理-全域数据集成
418 0
|
存储 数据采集 数据管理
说说数据治理中常见的20个问题
数据治理是一项战略计划,用于优化企业处理数据的方式。它旨在组织和改进公司用于定义、收集、存储、保护、管理和货币化业务数据的政策和程序。
|
数据采集 存储 机器学习/深度学习
数据治理的三度修炼
所有企业都需要计划如何使用数据,以便在整个业务中一致地处理和使用数据,以支持业务结果。
数据治理的三度修炼