Dataphin中重跑与强制重跑的区别

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 本文主要解析了Dataphin产品中重跑与强制重跑的区别及运行原理,推荐用户根据不同的场景选择适合的操作。

区别一:适用的实例对象范围不同


通常情况下,当实例运行完成后,会变为成功或失败状态。此时如果用户可能因为各种原因需要对实例进行重跑,就可以通过重跑按钮进行实例的重跑。重跑时,系统会按照最新发布的代码版本执行。Dataphin支持针对单个实例进行重跑、或选中一个起点及其下游,按照依赖关系进行批量重跑(如整条链路计算逻辑修改等场景),以实现全链路数据更新。


可能存在某些处于非成功或失败状态的实例,不满足重跑操作所要求条件(实例依赖的所有上游实例运行成功并到达当前实例的定时调度时间)的情况,此时就需要采用强制重跑操作。


如下图所示,重跑主要针对正常运行结束后状态为成功或失败的实例,而强制重跑可以无视实例的状态强制运行。

实例生命周期状态

重跑与强制重跑的区别.png

区别二:运行机制不同


场景一:任务A少读取了一部分数据,任务B因为缺少这部分数据运行失败了,对任务A的代码逻辑进行修复后,需要从A开始向下重跑。

如下图所示,A、B、C 三个任务,存在着依次依赖的关系,需要上一个任务成功运行完成后,才能开始运行下一个任务。此时 B 任务运行失败了,C 任务处于未运行状态。

重跑与强制重跑的区别 (1).png

重跑:当我们选择重跑节点时,仅可选择 A 和 B 任务, C 任务因为不满足重跑运行条件(上游所有任务成功完成),不能选择。我们可选择重跑 B 节点,当 B 点成功完成后,C 任务会因为满足运行条件(上游所有任务成功完成且到达调度时间)自动开始运行,而无需进行额外的设置。

强制重跑:我们也可以无视任务状态,对 B、C 选择强制重跑,此时系统会根据节点依赖关系,依次运行 B 和 C 节点。


通常情况下,我们重跑失败的节点即可,无需对下游节点进行额外操作。


场景二:任务 B 的代码存在问题导致写入分区的数据为空,因此当任务 C 读取表的时候运行失败了。此时用户对 B 节点的代码进行了改写,并重跑。在 B 节点运行过程中,发现了 A 节点的代码也存在问题,对 A 节点任务进行的修改。此时,用户选择重跑或强制重跑,运行结果会有极大不同。

重跑与强制重跑的区别 (2).png


重跑:此时由于 B 节点处于运行中,因此无法进行重跑。我们仅能对 A 和 C 节点进行重跑操作,且因为处于依赖链条中间的 B 节点并不参加此次的重跑,系统会将 A 和 C 节点当成两个独立的节点运行。因此,A 节点更新的数据并不会对 B 和 C 的任务生效。

强制重跑:可以无视任务状态,对 A、B、C 节点选择强制重跑,此时系统会强制终止掉运行中的 B 任务,将所有任务置为未运行状态,然后再根据节点的相互依赖关系依次运行。此时,A 节点更新的数据会对下游所有任务生效。


适用场景

通常情况下,当任务运行失败时,我们只要选择失败的任务进行重跑就可以了。下游处于未运行状态的节点会在上游节点运行成功后自动开始运行。

在某些特殊场景下,我们可以忽略上游实例的运行状态(一般是无数据依赖,仅调度依赖,或者对数据实效性要求不高的情况),使用强制重跑功能来恢复运行。另外,如果运行到链路中间的任务,忽然发现上游任务有数据错误的情况需要及时止损,可以采用强制重跑功能。此时,系统会先将所有选中的任务批量终止,再从最上游实例按照依赖关系依次向下运行,避免新老代码并存产生的数据错乱。

相关文章
|
数据安全/隐私保护 开发者
Dataphin权限体系(4):表级权限与字段级权限介绍【Dataphin V3.7】
在使用开发过程的权限体系时,不同的场景需要有不同的权限配置粒度,才能较好满足不同的业务需求,如Dataphin就有项目级权限、表级权限和字段级权限。在实际的业务开展中,一般需要综合运用不同等级的权限才能达到比较好的权限管理效果。
Dataphin权限体系(4):表级权限与字段级权限介绍【Dataphin V3.7】
|
数据安全/隐私保护
Dataphin权限体系(6):自定义用户组【Dataphin V3.9】
在日常的权限管理中,用户组是一个重要的概念。用户一般用于对权限的精确管控,而用户组一般用于对拥有相似权限和职责的一组用户的权限进行批量的进行管控。Dataphin在V3.9版本正式支持了用户组,可以较好的提升权限管理的效率。
Dataphin权限体系(6):自定义用户组【Dataphin V3.9】
|
运维 数据安全/隐私保护 开发者
Dataphin权限体系(5):自定义项目角色【Dataphin V3.8】
在讨论权限体系的时候,角色是一个绕不开的概念,并且大多数情况下我们的权限都是由不同的角色来承载。Dataphin对开发过程的权限管控,主要也是通过项目来划分成员和资源,通过项目角色来配置不同的权限,因此,Dataphin内置了众多的项目角色,用于管理者进行权限管理。但是在不同客户的多样化的管控场景中,内置的固定角色偶尔会无法满足客户的管理诉求,这种时候就需要用到自定义项目角色的功能,来定制符合自己企业管理要求的角色。
Dataphin权限体系(5):自定义项目角色【Dataphin V3.8】
Dataphin权限体系(3):权限审计能力介绍【Dataphin V3.5】
在正常的企业运行中,除了申请、授权的业务需求,还有一类很重要的就是对权限的管理需求。不论是从国家对数据监管的加强,要求重点企业数据系统的权限进行备案;还是企业自查异常权限、清点离职人员等场景,权限审计都是非常常见的需求。 Dataphin从3.5版本开始支持权限审计功能,支持对数据表、数据源的授权情况、授权操作等进行在产品上进行审计,同时支持审计详情的导出备案和进一步分析。
Dataphin权限体系(3):权限审计能力介绍【Dataphin V3.5】
|
运维 安全 项目管理
Dataphin权限体系(2):项目内角色权限体系【Dataphin V3.4】
良好的角色权限体系是支持业务能够安全合规的运行的保障,本期我们对内置角色的权限进行了优化,一起来看下最新的角色权限吧。
Dataphin权限体系(2):项目内角色权限体系【Dataphin V3.4】
|
数据采集 运维 安全
Dataphin权限体系(1):权限体系介绍与角色权限【视频】
在数据系统中,优秀的权限体系设计对系统的数据安全和开发效率都非常重要,本文将从下面三个角度对Dataphin的权限体系介绍: 1、Dataphin权限体系整体设计 2、Dataphin全局角色介绍 3、Dataphin项目角色介绍
Dataphin权限体系(1):权限体系介绍与角色权限【视频】
|
2月前
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
2月前
|
SQL 安全 数据建模
Dataphin常见问题之计算任务没有按调度执行如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
2月前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
17天前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之如何控制周期业务流程的并发执行
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
21 1

热门文章

最新文章