开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute作业设置了出错自动重跑,间隔2分钟,重跑3次这样合理吗?

大数据计算MaxCompute作业设置了出错自动重跑,间隔2分钟,重跑3次这样合理吗?如果重跑第一次的时候,人工干预停止了第一次重跑作业,后面2次自动重跑还会起来吗?

展开
收起
青城山下庄文杰 2023-11-05 18:02:17 82 0
3 条回答
写回答
取消 提交回答
  • 只要中途手动终止的 我理后面都不会触发重跑。iwEcAqNwbmcDAQTRBUQF0QCmBrByCP0Ann2XdQUxQvIfgCAAB9MAAAAAqCoRMAgACaJpbQoAC9IAA3RL.png_720x720q90.jpg
    此回答整理自钉群“MaxCompute开发者社区1群”

    2023-11-06 20:27:03
    赞同 展开评论 打赏
  • 您的设置中,如果作业出错后会自动重跑,间隔2分钟,总共重跑3次。这样的设置是具备一定的容错性的,尤其适用于对数据准确性要求较高的场景。然而,需要注意的是,在大数据计算中,如果任务执行慢或者等待时间过长,可能会影响整个数据处理流程。因此,您需要根据实际任务的复杂性以及资源使用情况来评估和调整重跑策略。

    至于您的另一个问题,如果在第一次自动重跑过程中,人工干预停止了作业,那么后续的两次自动重跑将不会启动。因为自动重跑的机制是基于作业失败的状态触发的,一旦作业状态改变(在这里是被人为停止),则自动重跑的机制将被取消。

    2023-11-06 10:03:45
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在设置MaxCompute作业出错自动重跑时,一般建议设置一定的重跑次数和重跑间隔,以确保任务顺利完成。通常,间隔时间和重跑次数可以根据任务的具体情况灵活设置,例如任务的重要性和失败的可能性等。
    如果您设置了间隔时间为2分钟,重跑次数为3次,那么当任务出现异常时,系统将在间隔时间内重新执行任务三次,以试图解决异常问题。如果在第一次重跑过程中手动停止了任务,则后续两次重跑也不会被触发,直到下次任务再次出现异常时才会触发自动重跑。
    但是,需要注意的是,频繁的重跑可能会消耗大量资源和时间,因此建议尽量避免这种情况发生。建议您在编写作业时采取有效的错误处理措施,以减少错误发生的可能性,并减少不必要的重跑次数。同时,您还可以通过日志跟踪来了解任务运行状态,及时发现并解决问题。

    2023-11-05 22:03:38
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载