发现大数据计算MaxCompute一个很神奇的现象?

发现大数据计算MaxCompute一个很神奇的现象,如果我用了union all,最好不要union all太多,而且最好先存一张结果表,不要直接with中间表,ODPS的优化逻辑好像是按照你union all的次数,复制N倍数据,我如果先存结果表再从结果表取数union,就会秒出;如果我不存,直接在过程中union,就会出的很慢

展开
收起
真的很搞笑 2023-09-26 15:00:50 104 分享 版权
1 条回答
写回答
取消 提交回答
  • 是的,是这样。建议先存储一下结果表再进行计算,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-09-26 17:47:01
    赞同 展开评论

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

还有其他疑问?
咨询AI助理