高质量数据能更好支撑业务发展

数据质量是数据建设和管理中非常重要的一环。所有的数据应用，不论是用于支持业务开展的数据库，还是用于支持商业决策，或者用于机器学习和人工智能等高级应用，实现数据价值的前提是数据本身是高质量的，是可靠和可信的。

数据质量的好坏，直接影响着业务的开展，下面是一些简单的示例：

数据质量问题的来源众多，业务方面（业务规则未定义、业务输入控制）、管理方面（无完整数据治理体系）、技术方案（设计和开发脱节、数据采集有误等）都可能导致数据质量变差。完整的解决数据质量问题，需要从业务、管理和技术等多方面进行优化。

Dataphin数据质量可以帮助组织沉淀业务规则，并通过技术进行自动化的质量校验，同时支持告警、大盘等管理功能，助力企业解决数据质量问题，获得高质量数据来更好支持业务发展。

全域数据质量能力

【点击图片收看视频介绍】

全域数据质量是指对客户全场景/全数据源下的数据常用的数据场景，都可以进行数据质量监控，本次升级支持了大部分常用场景和计算源，并持续扩展中。

Dataphin当前能够对客户在数据处理中常用到的数据引擎、数据源和数据对象进行数据质量的监控，详细支持的列表如下：

质量规则模版

Dataphin数据质量，支持对数据表进行完整性、唯一性、及时性、有效性、一致性、稳定性、自定SQL等7种质量模版分类下24个模版共计100+不同监控指标的质量规则校验，7种质量模版分类介绍如下：

*这里仅针对模版的整体能力进行说明，每一个分类下都有更多的模版和应用场景，详见Dataphin产品手册

产品能力展示

1、质量大盘

质量大盘可以展示当前全局的校验规则情况和异常情况，有助于管理员快速发现整体问题，安排排查任务。

2、模版管理

模版管理可以查看质量当前所有的模版信息。

模版分为系统内置模版和自定义模版，系统模版开箱即用，可以用来快速创建质量规则。如果组织内有通用的需求（如：用户年龄区间有效性、财务数据准确性等），可以沉淀为通用的模版，用于业务质量规则的快速创建。

2.1、质量模版管理

2.2、新建自定义规则模版

3、质量规则

支持给质量监控对象（如表、数据源）配置质量规则，并设置告警阈值和规则强弱；配置调度后就可以定时或者跟随数据更新来自动触发质量的校验任务，完成后自动生成质量报告，并根据校验情况完成告警、阻断等后续操作。

3.1、质量规则管理

3.2、表的质量规则配置

3.3、新建质量规则

预览质量规则SQL

3.4、调度配置

3.5、告警配置

3.6、质量报告

3.7、质量规则试跑和运行

4、校验记录

校验记录可以查看每次校验规则执行的具体结果和详情，是每天检查数据质量和处理质量问题最常用的入口。Dataphin质量的校验记录，详细的记载了每次质量规则校验的时间、状态和执行详情，便于进行日常检查和错误排查。

4.1、资源粒度的校验记录

4.2、资源校验详情

5、数据源管理

数据源除了要进行数据质量检测任务外，还要进行日常的业务支撑。为了防止数据质量任务影响到日常业务，支持对单个数据源支持的最大质量并行度进行控制，当达到质量最大并行度时，新调度的质量规则会进入排队等待状态，以保护业务的正常开展。

最后，我们通过视频来了解下Dataphin数据质量模块的质量监控场景和具体的操作。

【点击图片收看视频】