Dataphin功能Tips系列(74)质量规则调度配置系列(1)-数据更新触发调度

简介: 在数据生产中,数据质量直接影响业务准确性。Dataphin 提供“数据更新触发调度”功能,结合强规则校验,可在数据更新时自动检测质量,异常时阻断下游任务,防止脏数据扩散,保障数据准确性与流程稳定。

👉🏻 场景

在数据生产过程中,数据质量直接影响后续任务的准确性与稳定性。以电商业务为例,订单表作为DWD层的核心表,承载了大量的业务逻辑和数据流转。由于它上游任务来源众多,难以准确追溯数据来源,且该表的数据会被多个下游任务所依赖。如果订单表中的数据质量出现问题,将直接影响下游任务的结果正确性,甚至可能导致整体业务流程的中断。因此,需要一种机制在数据流转到下游之前及时发现并处理这些问题。在Dataphin中我们可以通过什么方式实现这个需求呢?

👉🏻 功能 / 解决方案

Dataphin 数据质量的 「数据更新触发调度」 功能,可在代码任务执行时解析判断是否更新了此表的指定校验范围的数据。同时,结合质量规则强度(弱规则/强规则),可以实现在检测不通过时直接阻断下游任务运行,满足对关键任务链路的数据质量把控。

以前面的订单表为例,我们可以设置在订单表任务的数据更新时,进行质量规则校验,并通过强规则阻止质量异常的数据进入下游,保障业务使用数据的准确性。

  1. 在【治理】-【数据质量】-【质量规则】中,为 商品ID 字段设置“非空校验”规则,并将规则类型设置为强规则,确保检测不通过时可直接阻断下游任务执行,防止脏数据扩散。
  2. 完成规则配置后,进入该对象的【调度配置】,点击新建调度。
  3. 在新建调度页面为调度命名,选择「数据更新触发调度」类型,并设置校验范围为“任务更新的分区”,此时系统将会在进行数据更新任务时,针对更新了数据的分区进行质量检测。
  4. 保存调度后,返回【规则配置】编辑对应质量规则,将其与刚创建的调度绑定,保障在订单表数据更新时就自动进行质量校验。

  5. 调度生效后,每次订单表数据变更时,系统会自动触发质量校验:
  1. 若通过,系统生成一条“通过”的校验记录,任务继续执行;
  2. 若不通过,系统生成一条“不通过”的校验记录,同时将数据更新任务置为“运行失败”,并默认阻断下游任务运行,防止异常数据扩散。
相关文章
|
8天前
|
人工智能 运维 安全
|
6天前
|
人工智能 异构计算
敬请锁定《C位面对面》,洞察通用计算如何在AI时代持续赋能企业创新,助力业务发展!
敬请锁定《C位面对面》,洞察通用计算如何在AI时代持续赋能企业创新,助力业务发展!
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
B站开源IndexTTS2,用极致表现力颠覆听觉体验
在语音合成技术不断演进的背景下,早期版本的IndexTTS虽然在多场景应用中展现出良好的表现,但在情感表达的细腻度与时长控制的精准性方面仍存在提升空间。为了解决这些问题,并进一步推动零样本语音合成在实际场景中的落地能力,B站语音团队对模型架构与训练策略进行了深度优化,推出了全新一代语音合成模型——IndexTTS2 。
639 22
|
7天前
|
人工智能 测试技术 API
智能体(AI Agent)搭建全攻略:从概念到实践的终极指南
在人工智能浪潮中,智能体(AI Agent)正成为变革性技术。它们具备自主决策、环境感知、任务执行等能力,广泛应用于日常任务与商业流程。本文详解智能体概念、架构及七步搭建指南,助你打造专属智能体,迎接智能自动化新时代。
|
13天前
|
人工智能 JavaScript 测试技术
Qwen3-Coder入门教程|10分钟搞定安装配置
Qwen3-Coder 挑战赛简介:无论你是编程小白还是办公达人,都能通过本教程快速上手 Qwen-Code CLI,利用 AI 轻松实现代码编写、文档处理等任务。内容涵盖 API 配置、CLI 安装及多种实用案例,助你提升效率,体验智能编码的乐趣。
1036 110
人工智能 数据可视化 数据挖掘
231 0