pyODPS执行 open_reader 操作如何获取表中大于1万条的数据-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

pyODPS执行 open_reader 操作如何获取表中大于1万条的数据

2016-08-09 17:56:32 8080 2

table上可以执行 open_reader 操作来打一个reader来读取数据,只能读出1万条的数据,怎么办?
with odps.execute_sql('select * from bms ).open_reader() as reader:

for record in reader:
取消 提交回答
全部回答(2)
  • 继盛
    2019-07-17 20:03:06
    已采纳

    有两个方法

    1、 SQL写成create table as select *,这样再使用tunnel下载

    odps.execute_sql('create table my_tmp_table as select ***')
    t = odps.get_table('my_tmp_table')
    with t.open_reader() as reader:
        for record in reader:

    2、 使用instance tunnel,可以用tunnel读取instance执行结果。这个会在0.6版本完成,预计在下周末或者下下周初发布。

    1 0
  • larrysz
    2019-07-17 20:03:07

    SQL里必须每次都create table吗?


    PyODPS在table上执行 open_reader 操作来打一个reader来读取数据。操作record(修改数据,把数据存入array或list)是在ODPS运行的还是在本地运行的?

    with t.open_reader(partition='pt=test') as reader:

    count = reader.count
    for record in reader[5:10] 
        # 处理一条记录
    0 0
添加回答
相关问答

1

回答

Pandas中.sort函数可以实现对数据表的什么操作?

2021-12-01 11:07:38 90浏览量 回答数 1

0

回答

如何用python将MYSQL数据库中多表或单表中的字段和数据提取出来导入到ODPS数据库中

2019-11-20 09:20:11 496浏览量 回答数 0

1

回答

如何用python将MYSQL数据库中多表或单表中的字段和数据提取出来导入到ODPS数据库中

2019-11-19 16:17:51 527浏览量 回答数 1

1

回答

dts数据订阅没有go的sdk

2019-01-23 17:08:14 603浏览量 回答数 1

2

回答

普通ECS开SLB是否数据库要上RDS?

2018-04-11 12:19:08 1566浏览量 回答数 2

0

回答

在云数据库 Redis 版中如何搜索过大的 key

2017-10-30 13:47:19 1688浏览量 回答数 0

3

回答

未来,大数据+人工智能+互联网能够实现有效整合么?

2016-10-17 11:35:43 2556浏览量 回答数 3

1

回答

mina接收底层设备发送的告警信息,dwr如何将数据推送给浏览器。

2016-06-17 08:29:22 1747浏览量 回答数 1

1

回答

SQL 根据表A的数据修改表B,当一条表B的数据匹配到多条表A的数据时选其中一条修改

2016-06-14 13:05:01 2675浏览量 回答数 1

0

回答

hive建立分区表使用oss上的数据

2016-04-25 16:52:48 4882浏览量 回答数 0
+关注
0
文章
7
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载