MaxCompute中如何处理small table exceeds memory limit(MB

已解决

MaxCompute中如何处理small table exceeds memory limit(MB) xxx报错

展开
收起
阿里云服务支持 2022-12-08 10:04:13 629 发布于浙江 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 官方回答

    MaxCompute中报错ODPS-0010000:System internal error - fuxi job failed, caused by: Hash Join Cursor ConditionalMapJoin1#0 small table exceeds, memory limit(MB) xxx, fixed memory used xxx, string memory used xxx, complex type memory used xxx为小表使用内存超过限制。常为两种场景:

    1、使用了mapjoin hint:需要检查mapjoin对应的表的存储是否超过限制,可以通过调整odps.sql.mapjoin.memory.max(0 MB~8192 MB),若表内存超过8192 MB,则需要去除 mapjoin hint。

    2、未使用mapjoin hint:产品侧优化SQL指定使用mapjoin,可通过set odps.optimizer.cbo.rule.filter.black=hj;关闭自动mapjoin。

    2022-12-08 10:12:05 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

收录在圈子:
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等