开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

你好,大数据计算MaxCompute任务运行超过 24 小时,自动失败,请问什么原因?

你好,大数据计算MaxCompute任务运行超过 24 小时,自动失败,请问什么原因?有办法恢复运行吗?9b389af5be8cedee0b17a220d8251d6d.png

展开
收起
真的很搞笑 2024-01-23 15:19:54 81 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    MaxCompute任务运行超过24小时自动失败的原因可能有以下几种:

    1. 资源不足:任务所需的计算资源超过了集群的可用资源,导致任务无法正常运行。这可能是由于其他任务占用了大量资源,或者集群本身资源不足。

    2. 数据倾斜:任务中的某些键值对的数据量过大,导致计算过程中出现数据倾斜现象。这种情况下,部分节点可能会因为处理大量数据而超时,从而导致整个任务失败。

    3. 参数配置错误:任务的配置参数设置不正确,可能导致任务无法正常执行。例如,设置了错误的并行度、内存限制等。

    4. 代码逻辑问题:任务的代码实现存在逻辑错误或性能问题,导致任务无法在规定时间内完成。

    5. 网络问题:任务执行过程中可能出现网络延迟或中断,导致任务无法正常完成。

    6. 系统异常:MaxCompute集群本身可能存在异常,如节点故障、软件bug等,导致任务无法正常执行。

    要解决这个问题,可以尝试以下方法:

    1. 检查任务的资源需求和集群的资源状况,确保任务有足够的资源进行计算。

    2. 分析任务的键值对分布,优化数据处理逻辑,避免数据倾斜现象。

    3. 检查任务的配置参数,确保参数设置正确。

    4. 检查任务的代码实现,修复可能存在的逻辑错误或性能问题。

    5. 排查网络问题,确保任务执行过程中网络畅通。

    6. 联系MaxCompute技术支持,排查集群异常问题。

    2024-01-23 22:01:56
    赞同 展开评论 打赏
  • 没有办法恢复运行。 默认SQL单个作业运行最长时间为24小时,可以通过下面参数设置,让单个作业运行最长时间达到72小时。
    set odps.sql.job.max.time.hours=72; ,此回答整理自钉群“MaxCompute开发者社区2群”

    2024-01-23 19:28:01
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载