开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

MaxCompute中如何处理small table exceeds memory limit(MB

已解决

MaxCompute中如何处理small table exceeds memory limit(MB) xxx报错

展开
收起
阿里云服务支持 2022-12-08 10:04:13 413 0
1 条回答
写回答
取消 提交回答
  • 官方回答

    MaxCompute中报错ODPS-0010000:System internal error - fuxi job failed, caused by: Hash Join Cursor ConditionalMapJoin1#0 small table exceeds, memory limit(MB) xxx, fixed memory used xxx, string memory used xxx, complex type memory used xxx为小表使用内存超过限制。常为两种场景:

    1、使用了mapjoin hint:需要检查mapjoin对应的表的存储是否超过限制,可以通过调整odps.sql.mapjoin.memory.max(0 MB~8192 MB),若表内存超过8192 MB,则需要去除 mapjoin hint。

    2、未使用mapjoin hint:产品侧优化SQL指定使用mapjoin,可通过set odps.optimizer.cbo.rule.filter.black=hj;关闭自动mapjoin。

    2022-12-08 10:12:05
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载