Dataphin功能Tips系列(74)质量规则调度配置系列(1)-数据更新触发调度

简介: 在数据生产中,数据质量直接影响业务准确性。Dataphin 提供“数据更新触发调度”功能,结合强规则校验,可在数据更新时自动检测质量,异常时阻断下游任务,防止脏数据扩散,保障数据准确性与流程稳定。

👉🏻 场景

在数据生产过程中,数据质量直接影响后续任务的准确性与稳定性。以电商业务为例,订单表作为DWD层的核心表,承载了大量的业务逻辑和数据流转。由于它上游任务来源众多,难以准确追溯数据来源,且该表的数据会被多个下游任务所依赖。如果订单表中的数据质量出现问题,将直接影响下游任务的结果正确性,甚至可能导致整体业务流程的中断。因此,需要一种机制在数据流转到下游之前及时发现并处理这些问题。在Dataphin中我们可以通过什么方式实现这个需求呢?

👉🏻 功能 / 解决方案

Dataphin 数据质量的 「数据更新触发调度」 功能,可在代码任务执行时解析判断是否更新了此表的指定校验范围的数据。同时,结合质量规则强度(弱规则/强规则),可以实现在检测不通过时直接阻断下游任务运行,满足对关键任务链路的数据质量把控。

以前面的订单表为例,我们可以设置在订单表任务的数据更新时,进行质量规则校验,并通过强规则阻止质量异常的数据进入下游,保障业务使用数据的准确性。

  1. 在【治理】-【数据质量】-【质量规则】中,为 商品ID 字段设置“非空校验”规则,并将规则类型设置为强规则,确保检测不通过时可直接阻断下游任务执行,防止脏数据扩散。
  2. 完成规则配置后,进入该对象的【调度配置】,点击新建调度。
  3. 在新建调度页面为调度命名,选择「数据更新触发调度」类型,并设置校验范围为“任务更新的分区”,此时系统将会在进行数据更新任务时,针对更新了数据的分区进行质量检测。
  4. 保存调度后,返回【规则配置】编辑对应质量规则,将其与刚创建的调度绑定,保障在订单表数据更新时就自动进行质量校验。

  5. 调度生效后,每次订单表数据变更时,系统会自动触发质量校验:
  1. 若通过,系统生成一条“通过”的校验记录,任务继续执行;
  2. 若不通过,系统生成一条“不通过”的校验记录,同时将数据更新任务置为“运行失败”,并默认阻断下游任务运行,防止异常数据扩散。
相关文章
|
10月前
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
299 8
|
9月前
|
数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限功能通过“控制字段”实现灵活数据管控,支持多表批量绑定与动态授权,有效降低权限管理复杂度,提升数据安全性与管理效率。
366 0
|
10月前
|
BI 数据安全/隐私保护
Dataphin功能Tips系列(69)数据资产如何快捷对接Qucik BI进行分析消费
QuickBI与Dataphin集成,实现数据权限统一管理,简化用户从权限申请到仪表板创建的流程,提升数据消费效率,保障数据安全,加速数据价值转化。
388 8
|
9月前
|
数据采集 SQL 数据可视化
Dataphin功能Tips系列(72)一键数据探查,打造高质量数据开发、分析流程
在数据开发与分析前期,掌握数据质量与分布情况至关重要。Dataphin提供高效的数据探查功能,支持手动与自动探查方式,一键生成数据质量报告,帮助用户快速发现空值、异常值、重复值等问题,提升数据准备与分析准确性。
308 0
|
11月前
|
SQL 数据可视化
Dataphin功能Tips系列(66)- 如何配置技术指标关系图
Dataphin通过可视化技术指标关系图,帮助业务人员快速理解指标加工逻辑。
205 2
|
11月前
|
数据可视化
Dataphin功能Tips系列(68)如何配置业务指标关系图
Dataphin推出“业务指标关系图”功能,通过可视化方式直观展示业务指标拆解关系,帮助技术人员与业务人员快速对齐指标口径,提升开发效率。以GMV为例,用户可在系统中新建指标、添加关联指标并配置关系表达式,系统自动生成多层级关系图,便于理解和协作,实现指标开发透明化与一致性。
278 0
|
8月前
|
数据采集 SQL 数据可视化
Dataphin功能Tips系列(72)一键数据探查,打造高质量数据开发、分析流程
Dataphin数据探查功能助力高效识别数据质量问题,支持手动与自动两种探查模式。通过一键生成质量报告,快速检测空值、异常值、重复值等问题,全面掌握数据分布与健康状况,提升数据准备与分析准确性。
524 7
|
8月前
|
机器人 数据中心
Dataphin功能Tips系列(79)精准获知标准更新动态,协同治理更高效
Dataphin支持数据标准变更订阅,可实时通过站内信、邮箱或钉群机器人通知相关人员,确保业务及时响应。用户可通过标准列表、个人中心等入口批量订阅,变更消息包含状态、版本及跳转链接,便于快速查看与处理。
262 8
|
8月前
|
数据采集 监控 调度
Dataphin功能Tips系列(76)质量规则调度配置系列(3)-定时调度
Dataphin「定时调度」功能支持按需设定数据质量检测时间与频率,适用于定期检查数据质量问题的场景。提供手动配置和系统推荐两种方式,可自动执行规则并生成报告,帮助用户高效发现并处理问题。
275 9

热门文章

最新文章