2) 质量规则模版
Dataphin 数据质量,支持对数据表进行完整性、唯一性、及时性、有效性、一致性、稳定性、自定 SQL 等 7 种质量模版分类下 24 个模版共计 100+不同监控指标的质量规则校验,7 种质量模版分类介绍如下:
注意:这里仅针对模版的整体能力进行说明,每一个分类下都有更多的模版和应用场景,详见 Dataphin 产品手册。
3) 产品能力展示
a) 质量大盘
质量大盘可以展示当前全局的校验规则情况和异常情况,有助于管理员快速发现整体问题,安排排查任务。
b) 模版管理
模版管理可以查看质量当前所有的模版信息。
模版分为系统内置模版和自定义模版,系统模版开箱即用,可以用来快速创建质量规则。如果组织内有通用的需求(如:用户年龄区间有效性、财务数据准确性等),可以沉淀为通用的模版,用于业务质量规则的快速创建。
c) 质量规则
支持给质量监控对象(如表、数据源)配置质量规则,并设置告警阈值和规则强弱;配置调度后就可以定时或者跟随数据更新来自动触发质量的校验任务,完成后后自动生成质量报告,并根据校验情况完成告警、阻断等后续操作。
d) 校验记录
校验记录可以查看每次校验规则执行的具体结果和详情,是每天检查数据质量和处理质量问题最常用的入口。Dataphin 质量的校验记录,详细的记载了每次质量规则校验的时间、状态和执行详情,便于进行日常检查和错误排查。
e) 数据源管理
数据源除了要进行数据质量检测任务外,还要进行日常的业务支撑。为了防止数据质量任务影响到日常业务,支持对单个数据源支持的最大质量并行度进行控制,当达到质量最大并行度时,新调度的质量规则会进入排队等待状态,以保护业务的正常开展。