开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute 出现了got killed的报错。如何解决?

大数据计算MaxCompute from odps.df import output
out_table = o.get_table('')
df = o.get_table('').to_df()
df = df.to_pandas()
ERROR:pyodps.pyodpswrapper:Got killed (-9)
看到 Got killed 很有可能因为 Out of memory。请确保不要使用从 ODPS 下载数据来处理。
下载数据操作常包括 Table/Instance 的 open_reader 以及 DataFrame 的 to_pandas 方法。
我用了to_pandas, 出现了got killed的报错,即超出了阿里云的限制内存?

展开
收起
真的很搞笑 2024-03-26 16:26:17 108 0
1 条回答
写回答
取消 提交回答
  • 是,目前to_pandas需要把数据拉到本地处理,有可能会超过内存限制 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2024-03-28 10:29:09
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载