大数据计算MaxCompute用persist效率影响好像比较严重,还会产生无用的临时表,请问是否?

大数据计算MaxCompute用persist效率影响好像比较严重,还会产生无用的临时表,请问是否存在别的把对象转成DataFrame的方法呢?
我经过排查,问题好像是出在join后调用了cache()方法,因为join的结果后面会被多次map_reduce,然后才map_reduce的,如果删掉cache就不会报错。我尝试单独把join,cache,map_reduce抽出来,但是复现不出这个问题,也不太确定是否还是因为其他代码导致的。对于
AttributeError: 'InnerJoin' object has no attribute 'input'
这个bug,您能否提供一些可能的导致原因呢?

展开
收起
真的很搞笑 2023-08-20 11:08:31 117 分享 版权
1 条回答
写回答
取消 提交回答
  • 可能需要看下具体的代码和报错日志,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-08-20 13:47:19
    赞同 展开评论

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

还有其他疑问?
咨询AI助理