前言
上一节数据质量内容中，为大家介绍了如何配置离线数据的质量监控规则。针对离线数据，数据质量内置了43种规则模版，这些模版看似相似，但又各有侧重，它们分别代表什么含义呢？今天带大家看看其中的奥秘。
内置离线规则模版说明
开始前，先介绍几个基本概念：
- 样本：当体采集的具体样本值。如规则是“SQL任务表行数，1天波动检测”，其所指的样本就是当天分区的表行数。
- 基准值：历史样本的对比值。如规则是“SQL任务表行数，1天波动检测”，其所指的基准值就是前一天分区产生的表行数。如规则是“SQL任务表行数，7天平均值波动检测”，其所指的基准值是前7天的表行数的平均值。
目前DQC中仅支持两种校验，一种是波动值校验，另一种是固定值比较，如下所示：
| 校验方法 | 校验逻辑 |
|---|---|
| 波动值校验 | 1、如果校验值的绝对值小于或等于橙色阈值，返回正常。 2、如果校验值的绝对值不满足第一种情况，且小于或等于红色阈值，返回橙色报警。 3、如果校验值不满足第二种情况，返回红色报警。 |
| 固定值比较 | 1、根据校验的表达式，计算 opt expect，返回布尔值，opt支持>,<,=,>=,<=,!=。 2、根据上式计算结果，如果为true，返回正常，否则返回红色报警。 |
字段级模版规则
| 编号 | 模板名称 | 说明 |
|---|---|---|
| 1 | 字段平均值，相比1天、1周、1个月前波动率 | 取该字段的平均值，同1天，7天，一个月周期比较，计算波动率，然后与阈值比较，只要有一个报警就报警出来。 |
| 2 | 字段汇总值，相比1天、1周、1个月前波动率 | 取该字段的sum值，同1天，7天，一个月周期比较，计算波动率，然后与阈值比较，只要有一个报警就报警出来。 |
| 3 | 字段最小值，相比1天、1周、1个月前波动率 | 取该字段的最小值，同1天，7天，一个月周期比较，计算波动率，然后与阈值比较，只要有一个报警就报警出来。 |
| 4 | 字段最大值，相比1天、1周、1个月前波动率 | 取该字段的最大值，同1天，7天，一个月周期比较，计算波动率，然后与阈值比较，只要有一个报警就报警出来。 |
| 5 | 字段唯一值个数 | 去重之后的count数与一个期望数字进行比较，即固定值校验。 |
| 6 | 字段唯一值个数，相比1天、1周、1个月前波动率 | 去重之后的count数，同1天，1周，1个月作比较，即固定值校验 |
| 7 | 表行数，相比1天、1周、1个月前波动率 | 同1天、一周、一月前采集的表行数作比较，对比波动率。 |
| 8 | 字段空值个数 | 去该字段的空值数与固定值比较。 |
| 9 | 字段空值个数 / 总行数 | 空值个数与行总数，计算得到一个比率，与一个固定值做比较，注意：该固定值是一个小数。 |
| 10 | 字段重复值个数 / 总行数 | 重复值个数与总行数的比率与一个固定值做比较。 |
| 11 | 字段重复值个数 | 总行数减去去重之后的个数就是字段重复值个数，重复值个数与固定值比较。 |
| 12 | 字段唯一值个数 / 总行数 | 唯一值个数与总行数的比率与一个固定值做比较。 |
| 13 | 字段平均值，相比1天前波动率 | 取该字段的平均值，上一次周期比较，计算波动率，然后与阈值比较。 |
| 14 | 字段汇总值，相比1天前波动率 | 取该字段的sum值， 上一次周期比较，计算波动率，然后与阈值比较。 |
| 15 | 字段最小值，相比1天前波动率 | 取该字段的最小值，与1天前比较，计算波动率，然后与阈值比较。 |
| 16 | 字段最大值，相比1天前波动率 | 取该字段的最大值，前一天比较，计算波动率，然后与阈值比较。 |
| 17 | 字段汇总值，相比上一周期波动率 | 取该字段的sum值，同上一周期比较，计算波动率，然后与阈值比较，只要有一个报警就报警出来。 |
| 18 | 字段最小值，相比上一周期波动率 | 取该字段的最小值，同上一周期比较，计算波动率，然后与阈值比较，只要有一个报警就报警出来。 |
| 19 | 字段最大值，相比上一周期波动率 | 取该字段的最大值，同上一周期比较，计算波动率，然后与阈值比较，只要有一个报警就报警出来。 |
| 20 | 字段分组，各离散点count值 | 字段分组，各离散点count值 |
| 21 | 字段分组，各离散点count值，相比1天、1周、1个月前波动率 | 字段分组，各离散点count值，相比1天、1周、1个月前波动率 |
| 22 | 字段分组，离散点总数 | 字段分组，离散点总数 |
| 23 | 字段分组，离散点总数，相比1天前波动率 | 字段分组，离散点总数，相比1天前波动率 |
表级模版规则
| 编号 | 模板名称 | 说明 |
|---|---|---|
| 1 | 相比上一周期，表大小不变(字节) | 相比上一周期，表大小不变(字节) |
| 2 | 相比上一周期，表大小变化(字节) | 相比上一周期，表大小变化(字节) |
| 3 | 相比上一周期，表行数变化 | 相比上一周期，表行数变化 |
| 4 | 相比上一周期，表行数不变 | 相比上一周期，表行数不变 |
| 5 | 表大小，相比上一周期差值(字节) | 表大小，相比上一周期差值(字节) |
| 6 | 表行数，相比上一周期差值 | 基准值为上一周期产生的分区的表行数，对比当天采集的表行数，对比差值。 |
| 7 | 表行数 | 表行数 |
| 8 | 表空间大小(字节) | 表空间大小(字节) |
| 9 | 表行数，相比1天前差值 | 基准值为昨天产生的分区的表行数，对比当天采集的表行数，对比差值。 |
| 10 | 表空间大小，相比1天前差值(字节) | 表空间大小，相比1天前差值(字节) |
| 11 | 表空间大小，相比1天前波动率 | 该条模板是监控表大小的波动情况，样本对此值是与昨天额度样本做比较，如填写橙色阈值为5%，红色阈值为10%，则当波动率大于5%小于等于10%的时候会橙色报警，当大于10%的时候会红色报警。 |
| 12 | 表空间大小，相比1周前波动率 | 该条模板是监控表大小的波动情况，样本对此值是与一周前额度样本做比较，如填写橙色阈值为5%，红色阈值为10%，则当波动率大于5%小于等于10%的时候会橙色报警，当大于10%的时候会红色报警。 |
| 13 | 表空间大小，相比1个月前波动率 | 该条模板是监控表大小的波动情况，样本对此值是与一月前额度样本做比较，如填写橙色阈值为5%，红色阈值为10%，则当波动率大于5%小于等于10%的时候会橙色报警，当大于10%的时候会红色报警。 |
| 14 | 表行数，相比最近7天平均值波动率 | 基准值是最近7天的表行数的平均值。 |
| 15 | 表行数，相比最近30天平均值波动率 | 基准值是最近30天的表行数的平均值。 |
| 16 | 表行数，相比1天前波动率 | 基准值为昨天产生的分区的表行数，对比当天采集的表行数，对比波动率。 |
| 17 | 表行数，相比1周前波动率 | 基准值为一周前产生的分区的表行数，对比当天采集的表行数，对比波动率。 |
| 18 | 表行数，相比1个月前波动率 | 基准值为一月前产生的分区的表行数，对比当天采集的表行数，对比波动率。 |
| 19 | 表行数，相比1天、1周、1个月前、本月1号波动率 | 同1天、一周、一月前、本月1号采集的表行数作比较，对比波动率。 |
| 20 | 表行数，相比上一周期波动率 | 基准值为上周产生的分区的表行数，对比当天采集的表行数，对比波动率。 |
DataWorks百问百答历史记录 请点击这里查看>>
更多DataWorks技术和产品信息，欢迎加入【DataWorks钉钉交流群】
