开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute用persist效率影响好像比较严重,还会产生无用的临时表,请问是否?

大数据计算MaxCompute用persist效率影响好像比较严重,还会产生无用的临时表,请问是否存在别的把对象转成DataFrame的方法呢?
我经过排查,问题好像是出在join后调用了cache()方法,因为join的结果后面会被多次map_reduce,然后才map_reduce的,如果删掉cache就不会报错。我尝试单独把join,cache,map_reduce抽出来,但是复现不出这个问题,也不太确定是否还是因为其他代码导致的。对于
AttributeError: 'InnerJoin' object has no attribute 'input'
这个bug,您能否提供一些可能的导致原因呢?

展开
收起
真的很搞笑 2023-08-20 11:08:31 81 0
1 条回答
写回答
取消 提交回答
  • 可能需要看下具体的代码和报错日志,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-08-20 13:47:19
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载