👉🏻场景
在数据开发或分析前期,我们常常难以全面掌握数据质量和分布情况。如果仅依赖人工编写SQL或逐字段统计,不仅耗时低效,还容易遗漏空值、异常值、重复值等关键问题,进而影响数据准备和后续分析的准确性。如何在Dataphin中高效、全面地完成数据探查,快速定位并解决数据隐患,保障后续工作的顺利开展呢?
👉🏻功能/解决方案
Dataphin数据探查功能,帮助用户一键生成数据表的质量报告,让数据检查变得简单高效。目前支持两种探查方式:
- 手动探查:通过简易配置,对目标表的空值率、唯一值、值分布等关键指标进行分析和可视化展示,全面检测数据健康。
- 自动探查:支持自定义探查规则,系统自动定期检查数据质量,及时发现并预警数据问题。
具体操作步骤如下:
- 进入【资产清单】-【对象详情】-【数据探查】,在需要数据探查的对象详情的数据探查页面,点击发起手动探查。
- 在探查配置页面,选择分区字段、目标字段及关键指标(如空值统计、字段分布、唯一值统计),配置探查范围后点击确定,系统将自动执行探查。
- 探查完成后,可在探查记录中查看详细结果,并根据探查关键指标进行筛选、查看具体的数据质量情况。
- 此外,您还可以进行自动探查配置,选择探查分区、自动探查频率、探查范围等信息,系统将按照配置自动运行数据探查任务,定期生成探查报告。