作者：DataWorks产品经理陈振

一、DataWorks数据质量模块的介绍

在正式介绍数据质量模块之前，首先要了解我们为什么要关注数据质量。

幻灯片4.PNG

上图是阿里巴巴淘宝网早期遇到的一些数据质量问题，这些问题的共同点是，因为很小的数据质量问题导致业务上很大的误差。某些数据质量问题从数据工程师的角度来看很小，比如基础表中的金额单位由元变成了分，但是对业务的影响却是非常大的，会导致下游信贷模型口径变大，会给业务带来风险。

总而言之，数据质量问题虽然从数据工程师的角度来看是个简单问题，但是从业务的角度来看是个很严重的问题。所以数据质量是数据开发和治理全生命周期中，非常重要的一个环节。在DataWorks产品版图里，数据质量也是非常重要的模块之一。

数据质量问题产生的原因有很多，既有底层系统层面的问题，比如来自业务系统的脏数据，也有业务系统和数仓平台对接过程中系统层面不一致导致的数据传输和转换产生的问题，更有可能是由于业务变化而产生的，前后端业务系统中某些数据字段定义不一致造成的，比如日期格式、金额格式。业务不一致不一定报错，所以在技术层面就很难察觉了。

幻灯片5.PNG

数据质量问题带来的后果，如上图所示是非常严重的。对于一些轻量级的问题，可能仅仅影响到数据加工链路的时间浪费，影响数据产出的时效性，也会造成数据计算和存储成本的浪费。更严重的影响是，当有问题的数据流入上层应用，会影响业务决策。

数据质量在DataWorks业务版图中是重要的一环，是数据治理版块的核心部分。数据质量同时也依赖底层统一元数据服务和任务调度服务。

DataWorks数据质量模块的特色有三点：

第一点：与数据开发调度深度集成，这也是区分于市面上其他数据质量产品的不同点。

全面支持DataWorks底层离线数据存储的引擎，比如MaxCompute、EMR Hive、MC-Hologres、ADB-PG等。
DataWorks数据质量规则由调度系统触发，好处是可以在最佳时间点调度数据质量监控规则去扫描表。在节省计算资源的同时可以及时发现问题。
如果是强规则，还能自动阻塞下游任务运行，防止问题数据污染下游。

幻灯片9.PNG

第二点：便捷灵活的规则定义。

DataWorks数据质量模块，拥有37种内置模板规则和自定义规则。应用内置模板可以快速的配置数据监控，如果遇到内置模板不能覆盖的场景，也可以通过自定义的方式来适配更多业务。
应用内置模板规则，有动态阈值模式，即不需要设置具体监控指标阈值，后台算法会自动判断异常值。
自定义规则可以沉淀为模板，方便用户或其他用户下次使用，这就方便了组织内部数据质量的标准化。

第三点：支持实时数据监控。

除了离线的数据质量监控，也支持实时数据质量监控。基于阿里云大数据系列产品实时数据通道Datahub和实时计算Flink的组合，能够支持实时数据流的监控。实时数据质量监控也支持Kafka。
目前支持断流、延迟和自定义三种规则。
支持维度表。

下图是数据质量模块的功能架构，主要分为离线和实时两部分。

幻灯片10.PNG

离线数据质量监控支持MaxCompute、EMR-Hive、Hologres和ADB-PG四种不同引擎。同时支持内置模板规则、自定义SQL规则和自定义模板规则。所有规则都支持四种不同的监控方式，包含绝对值监控、同比/环比监控（与上一周期业务比较）、波动率监控和动态阈值。数据质量问题报警都可以支持短信、邮件和钉钉群通知的方式实现，这些数据质量问题和指标都会汇总到一个自定义质量报表上，然后通过邮件周期性发出来，也可以通过网页端实时查看。

数据质量模块也支持Open API。Open API有一整套包括规则、分区表达、订阅人等对象的增删改查，都是可以通过Open API完成。

数据质量规则是绑定在调度任务上的。如何绑定呢？

幻灯片11.PNG

首先每一条规则都有对应的表要去扫描，另外规则是需要绑定到具体的任务节上点的，这个任务节点推荐是产出表的任务节点。比如有个任务是由某段SQL脚本写入的，每天或每小时会通过这个任务节点把数据写入到表内，这种情况就建议把监控的规则绑定到任务上，这样每当任务执行完之后，就会自动的触发规则并扫描表，这个时机是最佳的，如果有问题第一时间就能发现。如果问题很严重，还会有进一步措施，如下图所示，当任务节点扫描出问题，会同时产出橙色或红色阈值，无论是哪一种阈值都会触发短信、邮件或钉钉的报警。如果是红色阈值并且是强规则，还会阻塞任务节点的下游节点，防止数据质量问题扩散，也避免了计算资源的浪费。

幻灯片12.PNG

这就是数据质量离线监控的特色功能，即把规则和任务节点绑定在一起，决定一个合适的质量监控时间点。

下图是数据质量监控所支持的37种不同模板规则，包含数值型和波动率型两种。其中数值型是指对某个特定指标本身来进行监控，比如表行数、字段的最大值最小值等。波动率型规则是指与历史趋势进行对比。后台会有历史指标的存储，方便用户根据历史波动值来判断新指标是否存在异常。

幻灯片13.PNG

同时，数据质量监控也支持自定义SQL方式来定义数据质量规则。这个定义出来的规则也支持数值型和波动率型的校验。

实时数据质量监控方面。由于业务对数据的时效性要求越来越高，实时数仓的理念越来越深入人心，实时数据一旦出现数据质量问题，相对离线数据质量问题它的排查和解决的困难度都大得多。

幻灯片15.PNG

实时数据的吞吐量很大，一旦有问题就会被淹没在海量的数据中，排查起来就很困难，所以需要一个自动化的系统来监控。另外，实时数据质量问题会直接影响在线业务。离线的数据可能有一定的缓冲时间去修复，而实时数据质量问题会直接体现到在线业务上，所以实时数据质量问题的敏感度要比离线数据质量要高。由于数据都会归档到离线的数据仓，所以实时数据质量问题最终也会影响离线数据的质量。

在DataWorks数据质量模块里，支持三种不同的方式来监控实时数据质量，包括断流监控、延迟监控和用自定义SQL的方式来定义业务层数据质量规则来监控。

断流和延迟监控。断流是指数据通道在一段时间内没有新数据进来，这个断流的阈值用户可以自己设定。延迟是指数据流中的时间戳字段和系统时钟的差值过大，就说明数据延迟了，并已经失去实时系统的时效性了。

幻灯片16.PNG

自定义SQL规则更灵活，可以引用一张维度表与实时数据关联，也可以引用两条实时数据链路对它进行双流或多流的Join。具体做法是和业务的实际场景有关联的。

二、数据质量使用说明

离线质量校验：离线质量校验是在图形化界面上的。

幻灯片18.PNG

以MaxCompute表数据监控为例，首先选择一张表，然后定义一个特殊对象值，叫分区表达式。在离线系统里，数据都会分次写到不同的分区中，大部分情况下分区与时间或业务日期有关联，因此最新的数据一般只会写到最新的分区中，定义分区表达式的目的就是为了限定质量监控范围，这样每次只扫描最新分区就可以了。不同的表最新的分区名称的定义方式不一样，所以需要分区表达式来定义最新的分区名称。这个定义是很灵活的，拥有完整的变量体系。

幻灯片19.PNG

最常用的是$[yyyymmdd-1]，因为通常是第二天去处理前一天的全量业务数据，所以最新的业务日期的分区名一般是前一天的日期。这就是为什么要把日期减1了。小时任务则是$[hh24miss-1/24]的形式，表示前一小时。

创建完分区表达式后，就可以在对应的分区表达式下创建数据质量监控规则。

幻灯片20.PNG

点击模板规则下的添加监控规则，来添加一个内置模板规则。如上图所示，会有很详细的配置项。其中“强规则”会阻塞下游链路；“弱规则”仅仅会把报警发出，不阻塞下游；“动态阈值”是指是否由系统来判断异常指标。“规则字段”选项里，可以选择表级或字段级，字段级是可以精确到某个字段的规则。

“模板类型”包含采样方式、校验方式，可根据字段类型不同而不同。“比较方式1”和“比较方式2”是针对数值型模板和波动型模板的比较。

如果模板规则不符合用户要求，用户也可以去设置自定义规则。自定义规则使用起来很简单，在上述创建规则的窗口选择自定义规则，然后写下自己的SQL（符合一定规则的SQL可被纳入），并补充规则描述即可。

幻灯片21.PNG

这里强调两个离线质量校验的功能：

一个是动态阈值功能，在配置规则的界面如果把动态阈值选项勾选“是”，意味着用户需要配置动态阈值方式的规则，下面的配置选项就会简单很多，不需要阈值设定，而只需要做算法参考样本量的设定，即系统需要关注多少天之内的样本量，然后通过平滑的算法来判断指标点是否在预期的区间范围内。如果在预期范围内，就是正常值，反之就是问题值。幻灯片22.PNG

另外一个是自定义模板功能，是自定义规则的进阶用法。上面已经讲解了自定义规则，如果出现需要自定义规则去校验的表比较多，配置起来工作量很大的情况，自定义规则SQL脚本维护也比较困难。这就可以用到自定义模板库的功能。它本质上是可以把自定义规则固化成模板，这样在使用这个规则的时候就可以像使用内置模板一样简单了。

幻灯片23.PNG