开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文
2 条回答
写回答
取消 提交回答
  • 这个问题是这样,产品有auto mapjoin的机制(跟手动指定的mapjoin不一样),因为没有自动分配大小导致oom了,这种oom的预期会回退到merge join上,但是这个没回退;---- 这个问题是已知问题,在优化了已经; 所以目前出于性能考虑,建议调大mapjoin的内存(odps.sql.mapjoin.memory.max),让automapjoin不要报错;

    后来你把报错表手动指定了一下mapjoin,看起来是和auto mapjoin的大小表互换了一下,执行计划重新生成了,就没走到上边说的问题上。 此回答整理自钉群“MaxCompute开发者社区2群”

    2024-08-16 15:20:42
    赞同 4 展开评论 打赏
  • MaxCompute中的Hash Join操作在处理大数据时,如果Join的两个表数据量过大或者一个表的数据分布不均,可能导致内存消耗超过预期。异常日志显示内存溢出,可能是因为Join过程中缓存的数据超过了可用内存。您可以通过优化Join条件、减少Join数据量,或者调整作业的内存资源分配来解决。参考链接标题

    2024-08-16 14:06:54
    赞同 3 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    MaxCompute半结构化数据思考与创新 立即下载
    内存取证与IaaS云平台恶意行 为的安全监控 立即下载
    云服务器ECS内存增强型实例re6全新发布 立即下载