开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问DataWorks重跑和续跑 的区别是什么呢?

请问DataWorks重跑和续跑 的区别是什么呢?

展开
收起
滴滴滴~ 2023-03-29 14:52:34 303 0
3 条回答
写回答
取消 提交回答
  • DataWorks 重跑和续跑的区别:

    重跑

    • 重新运行整个作业,包括数据读取、处理和写入。
    • 所有作业实例都会被重新执行。
    • 用于修复作业执行期间发生的任何错误或问题。

    续跑

    • 仅从作业失败的实例继续运行作业。
    • 不会重新运行已成功完成的实例。
    • 用于当作业由于某些原因(如网络问题或临时故障)失败时继续作业。

    何时使用重跑和续跑:

    • 使用重跑:
      • 当作业由于代码错误、数据问题或其他需要重新执行整个作业的情况而失败时。
    • 使用续跑:
      • 当作业由于临时故障(如网络中断或服务器问题)而失败时。
      • 当作业部分成功,但部分实例失败时。

    其他区别:

    • 重跑会覆盖现有结果,而续跑会保留现有结果。
    • 重跑需要更多时间,而续跑只需要更少的时间。
    • 重跑会重新生成所有日志,而续跑只生成失败实例的日志。

    总的来说,重跑用于修复作业错误和问题,而续跑用于在作业失败后继续作业。

    2024-02-28 16:48:14
    赞同 展开评论 打赏
  • "正常调度:按照调度周期的时间配置调度,并正常执行,通常任务默认选中该项。空跑调度:按照调度周期的时间配置调度,但都是空跑执行,即一调度到该任务便直接返回成功,没有真正的执行任务。重跑属性:包括运行成功或失败后皆可重跑、运行成功后不可重跑,运行失败后可以重跑和运行成功或失败后皆不可重跑,请根据自身需求进行选择。说明如果您未选择重跑属性,则不可以提交节点。当选择运行成功或失败后皆不可重跑时,您需要在注意对话框,单击确认。如果您的调度任务配置了运行失败后重跑,并指定了超时时间,则当该任务因为超时导致运行失败时,不会触发任务重跑。详情请参见已配置失败重跑的任务在运行失败后未重跑,并报错Task Run Timed Out, Killed by System!!!出错自动重跑:如果重跑属性设置为运行成功或失败后皆可重跑和运行成功后不可重跑,运行失败后可以重跑时,会显示该属性,您可以配置任务出错自动重跑的次数和间隔。出错自动重跑次数:当出错自动重跑次数参数配置为n,目标任务实际执行时会重跑n-1次。出错自动重跑次数默认配置为3,最少配置为1(即任务出错后不会自动重跑),最多配置为10(即任务出错后会自动重跑9次),您可以根据业务需求进行修改。出错自动重跑间隔:默认每次重跑的间隔为30分钟,您可以进行修改。出错自动重跑间隔最少设置为1分钟,最多设置为30分钟。如果设置为运行成功或失败后皆不可重跑,则不会显示该属性,即任务出错不会自动重跑。生效日期:调度在有效日期内生效并自动调度,超过有效期的任务将不会自动调度。暂停调度:暂停调度后,会根据调度周期的时间配置调度,但是一旦调度到该任务会直接返回失败,不会执行。通常用于某个任务暂时不用执行,但后面还会继续使用的场景。 https://help.aliyun.com/document_detail/137549.html。此答案整理自钉群“DataWorks交流群(答疑@机器人)”"

    2023-03-29 21:15:14
    赞同 展开评论 打赏
  • 随心分享,欢迎友善交流讨论:)

    DataWorks中的重跑和续跑都是为了重新执行某个作业或任务,但其具体含义和操作方式略有不同。

    1、重跑:重跑是指重头开始执行某个作业或任务,即重新生成一个新的执行实例并从头开始执行。重跑可以用于修复之前执行失败或数据出错的作业,或者在需要重新生成数据的情况下使用。在DataWorks中,重跑会清除之前的执行记录和结果,并重新执行整个作业或任务。

    2、续跑:续跑是指在之前的执行实例基础上继续执行某个作业或任务,即从上次执行失败或中断的地方开始继续执行。续跑可以节省执行时间和资源,并且可以在遇到故障或中断时快速恢复执行。在DataWorks中,续跑只会执行之前失败或中断的部分,而不会重新执行整个作业或任务。 综上所述,重跑和续跑都有各自的使用场景。在执行失败或数据出错时可以使用重跑来重新生成数据,而在遇到故障或中断时可以使用续跑来快速恢复执行。

    2023-03-29 14:55:11
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多