Dataphin功能Tips系列(74)质量规则调度配置系列(1)-数据更新触发调度

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: Dataphin通过“数据更新触发调度”功能,结合强规则校验,可在订单表数据更新时自动触发质量检查,异常时阻断下游任务,有效防止脏数据扩散,保障关键业务链路的数据准确性与稳定性。

👉🏻 场景

在数据生产过程中,数据质量直接影响后续任务的准确性与稳定性。以电商业务为例,订单表作为DWD层的核心表,承载了大量的业务逻辑和数据流转。由于它上游任务来源众多,难以准确追溯数据来源,且该表的数据会被多个下游任务所依赖。如果订单表中的数据质量出现问题,将直接影响下游任务的结果正确性,甚至可能导致整体业务流程的中断。因此,需要一种机制在数据流转到下游之前及时发现并处理这些问题。在Dataphin中我们可以通过什么方式实现这个需求呢?

👉🏻 功能 / 解决方案

Dataphin 数据质量的 「数据更新触发调度」 功能,可在代码任务执行时解析判断是否更新了此表的指定校验范围的数据。同时,结合质量规则强度(弱规则/强规则),可以实现在检测不通过时直接阻断下游任务运行,满足对关键任务链路的数据质量把控。

以前面的订单表为例,我们可以设置在订单表任务的数据更新时,进行质量规则校验,并通过强规则阻止质量异常的数据进入下游,保障业务使用数据的准确性。

  1. 在【治理】-【数据质量】-【质量规则】中,为 商品ID 字段设置“非空校验”规则,并将规则类型设置为强规则,确保检测不通过时可直接阻断下游任务执行,防止脏数据扩散。

  2. 完成规则配置后,进入该对象的【调度配置】,点击新建调度。

  3. 在新建调度页面为调度命名,选择「数据更新触发调度」类型,并设置校验范围为“任务更新的分区”,此时系统将会在进行数据更新任务时,针对更新了数据的分区进行质量检测。

  4. 保存调度后,返回【规则配置】编辑对应质量规则,将其与刚创建的调度绑定,保障在订单表数据更新时就自动进行质量校验。


  5. 调度生效后,每次订单表数据变更时,系统会自动触发质量校验:
  1. 若通过,系统生成一条“通过”的校验记录,任务继续执行;
  2. 若不通过,系统生成一条“不通过”的校验记录,同时将数据更新任务置为“运行失败”,并默认阻断下游任务运行,防止异常数据扩散。

相关文章
|
1天前
|
云安全 数据采集 人工智能
古茗联名引爆全网,阿里云三层防护助力对抗黑产
阿里云三层校验+风险识别,为古茗每一杯奶茶保驾护航!
古茗联名引爆全网,阿里云三层防护助力对抗黑产
|
5天前
|
人工智能 中间件 API
AutoGen for .NET - 架构学习指南
《AutoGen for .NET 架构学习指南》系统解析微软多智能体框架,涵盖新旧双架构、核心设计、技术栈与实战路径,助你从入门到精通,构建分布式AI协同系统。
300 142
|
5天前
|
Kubernetes 算法 Go
Kubeflow-Katib-架构学习指南
本指南带你深入 Kubeflow 核心组件 Katib,一个 Kubernetes 原生的自动化机器学习系统。从架构解析、代码结构到技能清单与学习路径,助你由浅入深掌握超参数调优与神经架构搜索,实现从使用到贡献的进阶之旅。
279 139
|
2天前
|
存储 机器学习/深度学习 人工智能
大模型微调技术:LoRA原理与实践
本文深入解析大语言模型微调中的关键技术——低秩自适应(LoRA)。通过分析全参数微调的计算瓶颈,详细阐述LoRA的数学原理、实现机制和优势特点。文章包含完整的PyTorch实现代码、性能对比实验以及实际应用场景,为开发者提供高效微调大模型的实践指南。
297 0
|
2天前
|
传感器 人工智能 算法
数字孪生智慧水务系统,三维立体平台,沃思智能
智慧水务系统融合物联网、数字孪生与AI技术,实现供水全流程智能监测、预测性维护与动态优化。通过实时数据采集与三维建模,提升漏损控制、节能降耗与应急响应能力,推动水务管理从经验驱动迈向数据驱动,助力城市水资源精细化、可持续化管理。
257 142
|
1天前
|
存储 人工智能 Java
AI 超级智能体全栈项目阶段四:学术分析 AI 项目 RAG 落地指南:基于 Spring AI 的本地与阿里云知识库实践
本文介绍RAG(检索增强生成)技术,结合Spring AI与本地及云知识库实现学术分析AI应用,利用阿里云Qwen-Plus模型提升回答准确性与可信度。
174 90
AI 超级智能体全栈项目阶段四:学术分析 AI 项目 RAG 落地指南:基于 Spring AI 的本地与阿里云知识库实践
|
17天前
|
存储 关系型数据库 分布式数据库
PostgreSQL 18 发布,快来 PolarDB 尝鲜!
PostgreSQL 18 发布,PolarDB for PostgreSQL 全面兼容。新版本支持异步I/O、UUIDv7、虚拟生成列、逻辑复制增强及OAuth认证,显著提升性能与安全。PolarDB-PG 18 支持存算分离架构,融合海量弹性存储与极致计算性能,搭配丰富插件生态,为企业提供高效、稳定、灵活的云数据库解决方案,助力企业数字化转型如虎添翼!
|
1天前
|
机器学习/深度学习 人工智能 运维
智能照明稳压节能控制器,路灯节能稳压系统,沃思智能
智能照明调控柜集电力分配、远程控制与能耗管理于一体,支持自动调光、场景切换与云平台运维,广泛应用于市政、商业及工业领域,显著节能降耗,助力智慧城市建设。
178 137
kde
|
2天前
|
人工智能 关系型数据库 PostgreSQL
n8n Docker 部署手册
n8n是一款开源工作流自动化平台,支持低代码与可编程模式,集成400+服务节点,原生支持AI与API连接,可自托管部署,助力团队构建安全高效的自动化流程。
kde
216 3