Maxcompute中Pyodps的open_reader()如何获取超过1w条数据
已解决Maxcompute中Pyodps的open_reader()如何获取超过1w条数据
展开
收起
1
条回答
写回答
写回答
-
官方回答在调用open_reader()时，Pyodps会默认调用旧的Result接口，可能会出现获取数据超时或获取数据受限等问题。
可以按照如下方法指定PyODPS调用Instance Tunnel。 在脚本中设置
options.tunnel.use_instance_tunnel=True;
options.tunnel.limit_instance_tunnel=False;
按照如下示例，设置open_reader(tunnel=True)。
从PyODPS v0.7.7.1开始，可以通过open_reader()方法读取全量数据。
with o.execute_sql('select * from table_name').open_reader(tunnel=True) as reader: for record in reader: print(record)
2022-12-07 18:07:36赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
热门讨论
热门文章
请问大数据计算MaxCompute有主键这种说法么?
629
大数据计算MaxCompute钉钉机器人发报警webhook调用量到上限了，这个怎么处理？
137
可以通过postgresql jdbc协议 连接大数据计算MaxCompute吗 ？
36
解析并获取大json，是否更推荐json_tuple()？
1191
MaxCompute中执行SQL报错ODPS-0130071
23256
DataWorks从maxcomputer作业运维里面任务的logview点进去这个权限是在哪里开？
70
大数据计算MaxCompute中如果说我这边的程序接收到用户上传文件的请求，应该调用哪个API接口？
42
MaxCompute单元测试没有问题，通过本地运行却显示字段不存在，但是这个字段我是有的，有碰到吗？
2393
大数据计算MaxCompute使用stddev计算总体标准差的时候好像列的值类型对返回结果有影响？
24
DataWorks中maxcmpute的底层底层是啥？
294
展开全部
阿里巴巴飞天大数据平台MaxCompute（原名ODPS）全套攻略（持续更新20200109）
131442
阿里云开源离线同步工具DataX3.0介绍
102893
盘古：阿里云飞天分布式存储系统设计深度解析
44362
odps是什么?
67626
阿里云数加大数据计算服务MaxCompute学习路线图 (持续更新中)
30246
阿里云MaxCompute（大数据）公开数据集---带你玩转人工智能
24297
空格App亿元A轮融资背后：云上多场景技术架构实践与经验
19796
2017杭州云栖大会FAQ（持续更新中）
18451
一分钟了解阿里云产品：大数据计算服务MaxCompute概述
18250
使用 odps-jdbc 接入 ODPS，不再从零开始
22791
展开全部
