pyODPS执行 open_reader 操作如何获取表中大于1万条的数据-问答-阿里云开发者社区-阿里云

开发者社区> larrysz> 正文

pyODPS执行 open_reader 操作如何获取表中大于1万条的数据

2016-08-09 17:56:32 6888 2

table上可以执行 open_reader 操作来打一个reader来读取数据,只能读出1万条的数据,怎么办?
with odps.execute_sql('select * from bms ).open_reader() as reader:

for record in reader:
取消 提交回答
全部回答(2)
  • 继盛
    2019-07-17 20:03:06
    已采纳

    有两个方法

    1、 SQL写成create table as select *,这样再使用tunnel下载

    odps.execute_sql('create table my_tmp_table as select ***')
    t = odps.get_table('my_tmp_table')
    with t.open_reader() as reader:
        for record in reader:

    2、 使用instance tunnel,可以用tunnel读取instance执行结果。这个会在0.6版本完成,预计在下周末或者下下周初发布。

    1 0
  • larrysz
    2019-07-17 20:03:07

    SQL里必须每次都create table吗?


    PyODPS在table上执行 open_reader 操作来打一个reader来读取数据。操作record(修改数据,把数据存入array或list)是在ODPS运行的还是在本地运行的?

    with t.open_reader(partition='pt=test') as reader:

    count = reader.count
    for record in reader[5:10] 
        # 处理一条记录
    0 0
添加回答
+关注
0
文章
7
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载