在Dataphin数据治理系列：基于数据质量管理，支撑业务快速发展这篇文章中，我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。
在实际的质量管理过程中，经常需要通过查看异常数据，来确定质量问题产生的原因，从而针对性的修复质量问题，下面我们一起来看下Dataphin质量模块的异常数据归档能力。
一、场景介绍
场景1：某电商公司通过手机号进行会员广告投放，历史处理的手机号都是11位，突然有一天发现了质量监控报错，通过查看异常数据，发现是有一个新的采集渠道采集上来的手机号是带了国际电话区号（+86）的未处理数据，处理后下游可以正常使用。
场景2：某集团公司希望对员工数据进行校验，查看哪些员工的联系方式等信息没有填写，需要将信息缺失的员工数据下载到一个excel中，让各个子公司填写后重新上传管理。
场景3：某财务部门发现账单核对后存在差异，通过对销售金额数据进行校验，发现表格中有一个商品的总金额 <>单价*销售量，经过排查，是复制数据时仅复制了值，没有复制公式导致数据出错。
从上面的场景中可以看到，数据质量校验和异常数据归档在业务、管理、财务等多个场景都可以帮助快速定位问题，提升数据质量。
二、产品能力介绍
1、开启异常归档
在质量规则配置时，可以选择开启异常归档，开启异常归档后，可以将质量校验过程中的异常数据，存储到指定位置，用于后续的下载分析等用途。
1.1、归档模式
1、只归档异常字段：只去重归档当前监控字段，适用于通过单字段就可以完整确定异常数据的情况。
2、归档完整记录：归档异常数据所在的整条记录，适用于必须通过完整记录才能定位异常数据的情况。
因为归档完整记录会极大增加归档数据量，建议正常情况下都使用只归档异常字段。
1.2、归档位置
1. 默认文件服务器：存储在默认的位置，后续只能进行数据的下载。默认位置的存储大小有限制，单个规则单次最多归档100条，建议只归档异常字段或小数据量时使用。
2. 异常数据归档表：可以将异常数据存储到表中，后续可以直接读表进行数据分析或数据下载。自定义存储的大小和生命周期可以由用户进行统一管理，有更高的灵活性，单个规则单次最多归档10000条，推荐使用。需要注意的是，异常归档表需要满足特定的格式要求，否则会报错，详见异常归档表配置
3. 异常数据归档后可以在校验记录页面下载，数据下载限制1000条本次执行的异常数据。如果有更多数据需要归档后查看，建议归档到异常归档表后直接在表中查看。
2、数据下载和分析
2.1、数据下载
可以在校验记录页面，下载本次校验的异常数据，用于后续分析。需要注意的是，数据下载有一定的条数限制，数据量大的情况下建议到异常归档表中查看异常数据。
2.2、分析异常归档表
可以在即席查询和代码任务中，针对异常归档表中的异常数据进行更灵活的分析，从而发现更复杂的数据质量问题。
3、异常归档表配置
只有配置了异常归档表后，才可以将异常数据归档到表。具体配置方式为：
进入质量模块，点击左侧质量规则，点击具体一张质量监控表，进入监控详情，可以看到上方有异常归档的页面，点击进入异常归档表配置。
未配置异常归档表时，页面如下：
可以选择已有表或者新建一张表用于存储异常数据。
添加异常归档表后，可以在列表页进行统一的查看和管理
三、结语
以上就是关于本次Dataphin异常数据归档能力的完整介绍。利用好质量校验过程中的异常归档，可以帮助开发人员和业务人员快速定位质量问题，并修复质量问题。建议所有关键数据的质量校验都开启异常数据归档，帮助构建更加高质量的数据
更多历史内容详见：
