Dataphin功能Tips系列(40)-发布顺序中的必选依赖、可选依赖

简介: 发布顺序中的必选依赖、可选依赖

一、场景

小明有一个A任务依赖于另一个同事开发的B任务,小明发布A任务的时候不知道B任务有没有发布,每次都需要手动确认上游任务是否已发布,这样依赖层级很多的话就会很麻烦,可以优化一下吗?

之前的任务发布时是单个任务发布,只会在发布的那一刻校验依赖关系,如果依赖的上游任务没有发布就会报错,那么可以在发布之前就根据任务的依赖关系并形成正确的发布顺序,简化发布流程吗?

二、解决方案及功能

Dataphin会在发布之前解析必选依赖、可选依赖,可以根据自己的需要选择发布范围为【必选依赖和可选依赖】、【仅必选依赖】、【仅已选(不发布上游依赖)】,以两个新增的任务为例:

①新建A任务和B任务,其中A任务依赖于B任务

②此时如果B没有发布,生产环境没有B任务时A也不能发布,因此B是A的必选依赖

小明在发布A任务时,发布范围选择【必选依赖和可选依赖】或者【仅必选依赖】都可以

系统默认会选择【必选依赖和可选依赖】,如果不想关注上游依赖的发布状态,无需选择发布范围,跟着系统默认走就可以

③如果选择了【仅已选(不发布上游依赖)】,那么也可以发布,只是发布会失败

④从发布日志中可以看到,失败原因是因为上游依赖任务没有发布

通过这种方式,系统可以在发布之前识别上游依赖,无需发布者手动识别,也不用等单个任务发布失败之后再去找失败原因

具体必选依赖、可选依赖的定义如下:

假设对象A依赖对象B (如: 1. 任务A依赖任务B; 2. 原子指标A依赖其来源逻辑表B 等), 则发布时:  1. B的变更类型为新增,A为新增或变更(A添加新的上游依赖B),发布A时须先发布B, 否则A将发布失败。则B是A的必选依赖。A,B均为删除时,A是B的必选依赖。  2. B为变更,A为新增或变更, 不先发布B,A也可能发布成功。则B是A的可选依赖。 注意: 不发布B只发布A,A基于B的旧逻辑运行有可能与预期不符。  3. 如果当前用户无B的发布权限,则列表将不会列举B,受B影响的下游发布项可能发布失

相关文章
|
4月前
|
机器人 数据中心
Dataphin功能Tips系列(79)精准获知标准更新动态,协同治理更高效
Dataphin支持数据标准变更订阅,可实时通过站内信、邮箱或钉群机器人通知相关人员,确保业务及时响应。用户可通过标准列表、个人中心等入口批量订阅,变更消息包含状态、版本及跳转链接,便于快速查看与处理。
186 8
|
4月前
|
数据采集 监控 调度
Dataphin功能Tips系列(76)质量规则调度配置系列(3)-定时调度
Dataphin「定时调度」功能支持按需设定数据质量检测时间与频率,适用于定期检查数据质量问题的场景。提供手动配置和系统推荐两种方式,可自动执行规则并生成报告,帮助用户高效发现并处理问题。
169 9
|
4月前
|
数据采集 运维 调度
Dataphin功能Tips系列(75)质量规则调度配置系列(2)-固定任务触发调度
Dataphin“固定任务触发调度”支持在任务成功或运行前触发质量规则校验。适用于表数据来源任务固定的场景,通过绑定强规则可阻断下游任务,防止脏数据扩散,提升数据质量管控能力。
191 9
|
4月前
|
数据管理
Dataphin功能Tips系列(78)自定义属性助力资产精细化管理
Dataphin V5.3升级自定义属性功能,支持多选、超链接及引用系统属性,实现资产“归口部门”与组织架构同步、指标看板一键跳转等场景,提升资产配置灵活性与管理效率。
164 8
|
4月前
|
数据采集 调度
Dataphin功能Tips系列(74)质量规则调度配置系列(1)-数据更新触发调度
Dataphin通过“数据更新触发调度”功能,结合强规则校验,可在订单表数据更新时自动触发质量检查,异常时阻断下游任务,有效防止脏数据扩散,保障关键业务链路的数据准确性与稳定性。
196 8
|
4月前
|
安全 数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限通过“控制字段”实现精细化数据管控,有效避免传统字段权限过度开放带来的安全风险,提升权限管理效率与灵活性,满足复杂场景下的数据安全需求。
225 4
|
4月前
Dataphin功能Tips系列(77)如何实现数据资产上下架的精准管控与高效流转
在企业数据治理中,Dataphin支持按资产范围灵活配置上下架审批流程。通过标签、项目等条件圈选资产,绑定自定义审批模板,实现核心资产精细管控与大规模资产高效流转的平衡,提升数据运营效率。
171 1
|
4月前
|
数据采集 SQL 数据可视化
Dataphin功能Tips系列(72)一键数据探查,打造高质量数据开发、分析流程
Dataphin数据探查功能助力高效识别数据质量问题,支持手动与自动两种探查模式。通过一键生成质量报告,快速检测空值、异常值、重复值等问题,全面掌握数据分布与健康状况,提升数据准备与分析准确性。
312 7
|
6月前
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
224 8

热门文章

最新文章