前言
日常工作中，每时每刻都在产生大量重要的数据，数据质量问题也随之而来。如何用最少的人力、最快的速度，自动完成数据质量校验，对于企业节省成本、上层决策应用等起到关键作用。DataWorks的数据质量模块，为您提供全链路的数据质量方案，让数据监控更加简单、高效。
数据质量最基本、也最关键的功能，就是配置监控规则。目前，数据质量支持MaxCompute和EMR两种离线数据源，以及DataHub实时数据源。未来，会陆续支持更多种类的引擎/数据源。本期首先为您介绍离线数据源的监控规则配置方法。
如何配置离线数据的监控规则
1. 选择“引擎/数据源”-->"引擎/数据源实例"-->需要监控的表，点击配置监控规则。
2. 创建分区表达式，目的是定位最新数据，避免全表扫描。系统自带分区表达式的含义如下：
| $[yyyymmdd] | 调度日期 |
|---|---|
| $[yyyymmdd-1] | 业务日期 |
| $[yyyymmdd-N] | 前N天 |
| $[yyyymm01-1] | 每月1日 |
| $[yyyymm01-Nm] | N月前1日 |
| $[yyyymmld-1] | 每月最后一天 |
| $[yyyymmld-Nm] | N月前最后一天 |
| $[yyyymmddhh24miss] | 调度时间 |
| $[hh24miss-1/24] | 一个小时前 |
| $[hh24miss-30/24/60] | 半个小时前 |
若为非分区表，则表达式如下：
NOTAPARTITIONTABLE
3. 选择某一分区表达式，点击“创建规则”蓝色按钮，出现创建监控规则的右侧拉窗。监控规则分为模板规则和自定义规则两种。
（1）模板规则：数据质量支持43种表级和字段级的内置模板以及9种动态阈值模板，同时还支持用户自建的规则模板库。
注：动态阈值和规则模板库，在后续的高级功能中会为大家详细介绍，敬请期待。本期模板规则是在动态阈值选择“否”的前提下进行演示。
填写说明如下：
| 规则名称 | 填写规则名称 |
|---|---|
| 强弱 | 强规则阻塞下游，弱规则仅报警 |
| 动态阈值 | 是否使用动态阈值，进行智能判断 |
| 规则来源 | 选择使用43种内置模版或自建的规则模板库 |
| 规则字段 | 选择表级或字段级规则。 |
| 规则模版 | 选择具体的规则模板。规则模板会根据规则字段的不同而变化 |
| 比较方式 | 波动率型模板：绝对值、上升、下降 固定值型模板：大于、大于等于、等于、不等于、小于等于、小于 |
| 校验阈值 | 波动率型模板：橙色阈值、红色阈值 固定值模板：期望值 |
注：强弱规则的橙色报警均不会阻塞下游，必须小于红色阀值，精确到百分比小数点后两位。强规则的红色报警会触发阻塞，必须大于橙色阀值，精确到百分比小数点后两位。
（2）自定义规则：支持用户输入自定义SQL创建监控规则
填写说明如下：
| 规则名称 | 填写规则名称 |
|---|---|
| 强弱 | 强规则阻塞下游，弱规则仅报警 |
| 规则字段 | 选择自定义SQL |
| 采样方式 | 选择自定义SQL |
| Set Flag | 输入SQL的前置set语句 |
| 自定义SQL | 只接收查询语句； 可使用分区表达式变量； 可关联其他表； 可使用UDF |
| 校验类型 | 分为数值型、波动率型、动态阈值型。选择不同检验类型，比较方式和阈值形式会进行相应变化 |
| 描述 | 输入对规则的描述，会出现在报警信息中 |
4. 规则内容设置完毕后，点击批量保存，规则即创建成功。
添加规则订阅管理
在监控配置首页，选择某一分区表达式，点击“订阅管理”按钮，可为该分区表达式下的监控规则添加配置订阅信息。订阅方式主要包括邮件、短信、钉钉群（支持@all）三种方式，接受对象范围为该项目下的所有成员。
规则试跑
规则试跑的目的有3种：测试监控规则配置的是否正确；测试订阅发送渠道是否正确；手动运行监控规则。在监控配置首页，选择某一分区表达式，点击“试跑”按钮
监控规则如何关联调度
监控规则和订阅都已经配置完毕、并试跑成功，那如果启动正式的规则校验呢？数据质量采用的是将规则与调度节点关联起来的方式。当该节点开始任务调度时，所关联的所有规则会同时进行校验。
关联调度节点的方式有两种：
1.在数据质量直接进行关联
在某一分区表达式下选择“关联调度”按钮，进行调度节点的绑定
2.在运维中心进行关联
在运维中心--周期任务中，找到希望关联的节点，右键该节点，选择“配置质量监控”
在出现的弹窗中，选择引擎、实例、表名、分区表达式，进行监控规则配置。注意分区表达式不要填错了哦！
查询任务执行结果
节点任务执行后，规则校验也随之被执行。规则校验的结果可以在数据质量的“任务查询”页面中进行查看。每条规则的详细情况可以点击“详情”进行查看。
好啦，本期数据质量“百问百答”就介绍到这里，下一期会为大家介绍实时数据的监控规则配置方法。
DataWorks百问百答历史记录 请点击这里查看>>
更多DataWorks技术和产品信息，欢迎加入【DataWorks钉钉交流群】
