Dataphin功能Tips系列(88)补数据场景下,如何实现质量规则的精准回溯校验?

简介: 在数据补跑场景中,为精准校验指定历史日期(如12月18日)的数据,质量管理员应使用基于业务日期的表达式 ds='${yyyyMMdd}' 配置调度规则。该方式支持手动执行时动态关联所选业务日期,确保校验范围准确指向目标数据,实现高效、精确的质量校验。

👉🏻场景

在日常数据运维中,开发人员经常需要对特定历史日期(如12月18日)的任务进行补数据操作以修复偏差。数据重跑后,质量管理员必须对这部分历史数据重新进行质量校验。在补数据场景下,管理员应如何配置调度规则,才能确保手动执行时能精准校验到目标业务日期的数据呢?

👉🏻解决方案及功能

Dataphin的质量调度校验范围表达式支持 ${...} 和 $[...] 两种日期参数:

  1. ds='${yyyyMMdd....}',此表达式的值是基于业务日期进行计算,默认将您选择的业务日期带入并计算后作为校验范围;
  2. ds='$[yyyyMMdd....]',此表达式的值则是基于规则执行当天的运行日期进行计算,默认使用的是执行日期作为校验范围;

为了满足手动选中日期校验的需求,质量管理员应在调度配置时,选用 ds='${yyyyMMdd....}' 这一基于业务日期的表达式。这样在手动运行质量规则时,系统即可根据用户选择的业务日期进行动态计算,实现对目标历史日期的精准校验。具体的配置逻辑如下:

  1. 在「数据质量」-「质量规则」页面,选择对应的质量规则并点击「新建调度」,将调度中的校验范围表达式设置为ds='${yyyyMMdd}'。
  2. 选中对应的质量规则进行手动运行。在弹出的配置窗口中,选择补数据任务的调度并选择业务日期为 2025-12-18。

  3. 最后,在对应的校验记录中,便可以查看对应的校验结果,同时也可以看到此时运行扫描的便是18号的数据

相关文章
|
3月前
|
SQL 数据可视化 大数据
Dataphin数据血缘:实现全面追溯,保障流转透明
数据血缘揭示数据从源头到应用的全链路流转关系,助力企业厘清数据来源、影响范围与质量问题根源。Dataphin通过自动采集、手动配置和OpenAPI注册三类方式构建全面的数据血缘,支持可视化展示与用于质量问题溯源,实现数据可查、可信、可管,推动高质量数据治理。
392 1
|
2月前
|
SQL 自然语言处理 BI
Dataphin功能Tips系列(87)Dataphin「X-分析」:自然语言开启自助取数新时代
Dataphin推出【X-分析】Agent,支持非技术用户通过自然语言提问,自动生成SQL并执行查询,快速获取数据结果。用户可新建分析专辑,结合业务数据与提示词优化模型理解,实现精准取数。支持SQL审核编辑、保存至Notebook或一键创建Quick BI数据集,打通从查询到分析的全流程,降低人力成本,提升数据消费效率,助力业务自助高效用数。
111 0
Dataphin功能Tips系列(87)Dataphin「X-分析」:自然语言开启自助取数新时代
|
2月前
|
数据采集 人工智能 运维
Dataphin功能Tips系列(85)告别“人肉排障”:AI驱动数据质量根因诊断,让治理效率跃升
传统数据治理中,数据质量问题依赖人工排查,效率低且难定位根因。Dataphin 5.4推出X-数据质量根因诊断功能,基于AI大模型分析数据血缘与采样,智能定位问题源头,自动生成整改建议与影响评估,实现从发现问题到闭环治理的自动化,大幅提升治理效率与准确性。
122 0
|
2月前
|
SQL 人工智能 安全
Dataphin功能Tips系列(84)基于大模型的敏感信息分类分级解决方案
某金融公司需对海量用户信息进行分类分级以满足合规要求。人工处理效率低、风险高。Dataphin 5.4推出智能安全分类分级功能,基于AI大模型语义解析字段,结合元数据与描述,自动推荐分类结果,支持全表扫描与规则筛选,提升治理效率与数据安全性。
117 0
|
3月前
|
数据采集 人工智能
Dataphin X-数据质量,智能分析质量问题并推荐整改建议
针对数据治理中质量问题难发现、根因定位难、整改效率低等痛点,推出AI驱动的数据质量问题智能分析功能。通过智能分析异常、追溯根因、构建数据证据链,自动生成含改进建议与影响评估的质量报告,提升治理效率与决策可靠性。
159 3
|
4月前
|
数据采集 SQL 数据可视化
Dataphin功能Tips系列(72)一键数据探查,打造高质量数据开发、分析流程
Dataphin数据探查功能助力高效识别数据质量问题,支持手动与自动两种探查模式。通过一键生成质量报告,快速检测空值、异常值、重复值等问题,全面掌握数据分布与健康状况,提升数据准备与分析准确性。
312 7
|
2月前
|
存储 分布式计算 Hadoop
Dataphin功能Tips系列(86)Dataphin“查询加速”方案:提升大表分析性能,节省存储保障数据一致性
Dataphin推出“查询加速”功能,无需数据同步,通过一键映射外部Catalog,实现对MaxCompute/Hadoop大表的透明加速。利用StarRocks等引擎秒级响应即席查询,保障权限统一与数据安全,降低存储成本与运维压力。
|
2月前
|
数据采集 人工智能 安全
Dataphin V5.4版本发布:拥有「最强大脑」的数据中台,究竟智能在哪儿?
Dataphin是阿里巴巴数据中台方法论的实践产品,助力企业构建湖仓一体、多云兼容的数据资产体系。V5.4版本升级集成、治理、安全与运维能力,新增API/FTP增强、数据质量智能分析、外部血缘注册、行级权限申请等特性,全面提升数据开发效率与治理水平。
241 3
|
2月前
|
数据处理
Dataphin功能Tips系列(82)「Dataphin标签管理」:让数据资产分类与检索更高效、更智能
Dataphin通过标签化管理优化数据资产组织,支持按业务、地域、时间等多维度灵活打标,提升“门店销售表”等数据的检索效率与使用便捷性,实现精准高效的资产管理。
116 0