1. 场景
质量管理员在进行数据质量配置时,可能会因为业务或者质量策略的变更,需要对已配置的规则进行批量的修改,在Dataphin中可以怎么实现呢?
2. 解决方案及功能
- Dataphin支持通过Excel进行质量规则的批量导入和导出。通过这个功能,我们可以一次性为多个Dataphin表配置自定义SQL质量规则,提升配置效率。
- 下面,我们将以修改多个质量规则的校验配置为例,来详细了解如何实现批量修改质量规则。
- 在「质量规则」-「Dataphin表」中,点击导出全部质量规则,进入「导出全部对象的质量规则」对话框,点击确定,提交导出任务。
- 导出任务提交后,点击「查看批量导出记录」,并在此下载对应的质量规则表格。
- 接着,我们可以通过excel对批量导出的数据规则进行修改。在此处,我们将其中的异常行数修改为异常率(%)<1,并保存修改。
- 接着,我们就可以点击批量导入质量规则,将修改后的质量规则文件上传并开始校验。
- 校验完成后,选择“覆盖”来处理重复记录。点击上传,这样修改后的规则就能替换线上规则,轻松完成质量规则的批量修改!
- 限制说明:目前Dataphin仅支持Dataphin表和全域数据表的自定义SQL规则的批量导入和导出。