在本地调用pyodps的sdk时,想将odps上的表转成dataframe,限制只能得到10000行的dataframe,若使用open_reader函数读取表,则需要关闭【项目空间数据保护】才能读到。意思是 调用sdk时将odps上的表转成dataframe需要把全部数据下载到本地吗?有没有办法不关闭【项目空间数据保护】而将odps上的表全部转成dataframe,在本地写脚本操作?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

在本地调用pyodps的sdk时,想将odps上的表转成dataframe,限制只能得到10000行的dataframe,若使用open_reader函数读取表,则需要关闭【项目空间数据保护】才能读到。意思是 调用sdk时将odps上的表转成dataframe需要把全部数据下载到本地吗?有没有办法不关闭【项目空间数据保护】而将odps上的表全部转成dataframe,在本地写脚本操作?

琴瑟 2017-05-27 17:23:32 4164

在本地调用pyodps的sdk时,想将odps上的表转成dataframe,限制只能得到10000行的dataframe,若使用open_reader函数读取表,则需要关闭【项目空间数据保护】才能读到。意思是 调用sdk时将odps上的表转成dataframe需要把全部数据下载到本地吗?有没有办法不关闭【项目空间数据保护】而将odps上的表全部转成dataframe,在本地写脚本操作?

分布式计算 MaxCompute 开发工具
分享到
取消 提交回答
全部回答(2)
  • 周公解闷
    2019-12-28 12:08:42

    修改一下限制应该就可以了。

    from odps import options

    options.df.odps.sort.limit = 1000000000

    0 0
  • 琴瑟
    2019-07-17 21:13:43

    没有好办法,dataframe需要把数据下到本地,如果开了项目空间数据保护就不能下载数据了。

    0 0
添加回答
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题