开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

MaxCompute如何处理作业报错内存溢出

已解决

MaxCompute如何处理作业报错内存溢出

展开
收起
阿里云服务支持 2022-12-15 13:56:08 475 0
1 条回答
写回答
取消 提交回答
  • 官方回答

    ODPS-0010000:System internal error - fuxi job failed, caused by: kWorkerOutOfMemoryKILL_NA: plannedResource({Memory=1024, CPU=100}) usedResource({Memory=2126, CPU=156}) at Odps/***/M1@***#1002 kWorkerOutOfMemory基本都为OOM问题。

    OOM的原因是实际使用的资源大于申请的资源,报错中:

    1. plannedResource({Memory=1024, CPU=100}) usedResource({Memory=2126, CPU=156})、 M1@***#1002为重要信息,usedResource({Memory=2126, CPU=156})即实际使用的信息。

    2. M1@***#1002即那个worker在哪个机器上报错。

    确认这两个信息之后,可以根据具体情况进行调参。已参考报错为例,可以根据报错调mapper的内存(大于Memory=2126 )、mapper的cpu(大于CPU=156) 详情请参考SET操作

    2022-12-15 14:01:41
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载