6. 配置数据质量监控
本步骤将指导您如何监控数据质量。
1. 进入表ods_raw_log_d的监控规则页面。
- 单击左上方的图标,选择全部产品>数据治理>数据质量。
- 在左侧导航栏中,选择规则配置>按表配置。
- 在按表配置页面,单击ods_raw_log_d表后的配置监控规则。
2. 配置表ods_raw_log_d的监控规则。
- 在分区表达式模块,单击+。
- 在添加分区对话框中,分区表达式选择dt=$[yyyymmdd-1],数据质量插件选择“dqc_emr_plugin_datalake”,单击确认。
- 在表ods_raw_log_d的监控规则页面,单击创建规则。
- 在创建规则面板中,选择模板规则>添加监控规则。
- 在创建规则面板中,根据如下配置相关参数,其他配置保持默认,单击批量添加。
说明 :该规则主要是为了避免分区中没有数据,导致下游任务的数据来源为空的问题。
参数说明:
- 规则名称:输入ods_raw_log_d表规则。
- 强弱:选择强。
- 规则模板:选择表行数,固定值。
- 比较方式:选择大于。
3. 规则试跑
- 在配置表ods_raw_log_d的监控规则页面,单击试跑。
- 在试跑对话框中,单击试跑。
返回试跑成功!
4. 关联调度
- 在ods_raw_log_d表的监控规则页面,单击关联调度。
- 在关联调度对话框中,输入节点ID或节点名称,单击添加。
- 添加完成后,即可完成与调度节点任务的绑定,则任务实例运行完成都会触发数据质量的检查。
5. 配置任务订阅
- 在ods_log_info_d表的监控规则页面,单击订阅管理。
- 在订阅管理对话框中,设置订阅方式和接受对象。目前支持的订阅方式包括邮件通知、邮件和短信通知、钉钉群机器人和钉钉群机器人@ALL。
- 设置完成后,单击保存,您可以进入我的订阅页面进行查看和修改。