问题一:大数据计算MaxCompute 出现了got killed的报错。如何解决?
大数据计算MaxCompute from odps.df import output
out_table = o.get_table('')
df = o.get_table('').to_df()
df = df.to_pandas()
ERROR:pyodps.pyodpswrapper:Got killed (-9)
看到 Got killed 很有可能因为 Out of memory。请确保不要使用从 ODPS 下载数据来处理。
下载数据操作常包括 Table/Instance 的 open_reader 以及 DataFrame 的 to_pandas 方法。
我用了to_pandas, 出现了got killed的报错,即超出了阿里云的限制内存?
参考回答:
是,目前to_pandas需要把数据拉到本地处理,有可能会超过内存限制
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/607602
问题二:请教下大数据计算MaxCompute,读取的数据还是没有成为dataframe的格式有什么办法解决?
请教下大数据计算MaxCompute,在阿里云的pyOPDS3的环境下,将数据用pandas dataframe导入,采用数据透视表去分析,会报错是list没有drop,读取的数据还是没有成为dataframe的格式,有什么办法解决吗?十分感谢!报错信息: values = values.drop(key)
AttributeError: 'list' object has no attribute 'drop'
df = DataFrame(o.get_table(''))用的这个语句读取的table表
参考回答:
先把数据读成pyodps的df,然后to_pandas转成pandas df
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/607600
问题三:请教一个大数据计算MaxCompute问题:我想拿到授权给了谁,不知道有没有什么文档可供参考的呢?
请教一个大数据计算MaxCompute问题:我通过jdbc方式执行语句(show grants on table dws_loan_apply_detail_df privilegeproperties ("policy"="true");) 返回json里的result节点是这种格式:
,我想拿到授权给了谁,不知道有没有什么文档可供参考的呢?
参考回答:
建议用文档中的命令来查。https://help.aliyun.com/zh/maxcompute/user-guide/query-permissions-by-using-maxcompute-sql?spm=a2c4g.11186623.0.0.7b092939ELmG8R
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/607589
问题四:大数据计算MaxCompute在 dataworks 数据抽取上面定义了一个 抽取Mysql 任务?
"使用大数据计算MaxCompute过程中遇到一个问题,在 dataworks 数据抽取上面定义了一个 抽取Mysql 任务,由于 mysql 表中有一些 blob 字段,导致没有抽取到数据到 MC,但是在 任务运维中心 显示 任务正常完成,具体抽取报错如下:
fetch result encounter exception: ODPS-0420061: Invalid parameter in HTTP request - Fetched data is larger than the rendering limitation. Please try to reduce your limit size or column number."
参考回答:
这是超过MaxCompute的限制了吧。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/607580
问题五:大数据计算MaxCompute控制台报这个错,进不去,如何解决?
大数据计算MaxCompute控制台报这个错,进不去?
参考回答:
ram用户的格式不是这样的。 应该是role
关于本问题的更多回答可点击原文查看: