AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据开发治理DataWorks 正文

DataWorks with odps.execute_sql只能获取10000条数据，但是表数据?

DataWorks with odps.execute_sql('select * from bms ).open_reader() as reader:只能获取10000条数据，但是表数据大于10000怎么处理？

展开
收起
真的很搞笑 2023-08-27 16:39:59 356 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 清风拂袖

    DataWorks 中 odps.execute_sql 命令默认只会获取 10000 条数据，这是由于 ODPS 的查询限制。

    如果需要获取更多数据，可以通过以下方式：

    使用 odps.sql.fetch_next 函数分批获取数据。
    使用 odps.sql.split 函数将查询拆分成多个子查询。
    使用 odps.table.export 函数将表数据导出为本地文件。

    2023-09-13 15:03:51
    赞同 展开评论
问答分类：
DataWorks 大数据开发治理平台 DataWorks
问答标签：
云原生大数据计算服务 MaxCompute数据 SQL数据 大数据开发治理平台 DataWorks数据 dataworks云原生大数据计算服务 MaxCompute数据 SQL表数据
问答地址：
开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 问答
相关问答
DataWorks
dataworks已经提交申请，我当前sql会报错我想知道对应美西的配置信息应该是怎么样的？
387
1
0
flink sql 通过doris connector连接doris表时提示读取表数据失败
339
1
0
DataWorks当前有AI工具可以写数仓的sql吗？
149
1
0
DataWorks有 SQL 支持可以获得上游任务运行状态吗？
95
2
0
DataWorks在编写UDF（SQL自定义函数）时，怎么实现某个参数是可填可不填？
133
2
0
DataWorks连接sql server 2005数据源报这个错误怎么解决啊？
187
1
0
DataWorks中odps+flink数据同步，odps在数据地图上已经能看到分区了？
104
0
0
在DataWorks的sql查询中出现了以下情况，如何解决？
72
0
0
DataWorks odps 中的表删除一些分区之后，占用空间没有减少，这个是延迟释放空间吗？
152
2
0
DataWorks中odps 离线任务刷新ES数据的时候，如果选主键A怎么设置？
108
1
0
大数据与机器学习

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

我要提问

相关文章

  • DataWorks接入Qwen3-Coder！数据开发再提速！
  • 数据开发再提速！DataWorks正式接入Qwen3-Coder
  • 分布式×多模态：当ODPS为AI装上“时空穿梭”引擎
  • 大数据AI产品月刊-2025年7月
  • 阿里云EMR Serverless StarRocks 内容合集

    • 热门讨论

    热门文章

  • 数据来源：com.alibaba.fastjson.JSONException: syntax er
  • Dataphin和 Dataworks 有啥区别呢？
  • 数据服务报429请求次数过多咋办呀
  • 阿里云磁盘大小是多少？
  • DataWorks中odps SQL 参数 如何获取前一天的yyyymm？
  • 兄弟们啊，同步中DI、RI到底什么意思，是什么的缩写？
  • DataWorks暂停调度和空跑调度的区别是什么？
  • 请教一下DataWorks，doris和starRocks 选型，选哪个？
  • 咱们这个API Path什么意思呢，是自定义的接口吗？还是统一规范的？
  • DataWorks下载表数据/odps表查询结果10000条限制？
    • 展开全部
  • 2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
  • DataWorks售前咨询
  • 数据开发再提速！DataWorks正式接入Qwen3-Coder
  • 火热邀测！DataWorks数据集成支持大模型AI处理
  • DataWorks操作报错合集之配置项目连通oss数据源 , 报The request signature we calculated does not match the signature you provided.如何解决
  • 欢迎加入DataWorks产品钉钉交流群
  • DataWorks产品使用合集之怎么选择Doris或StarRocks作为DataWorks的OLAP解决方案
  • 长文详解｜DataWorks Data+AI一体化开发实战图谱
  • 数据管理能力成熟度模型
  • DataWorks操作报错合集之错误提示“ODPS-0130161: Parse exception - invalid token 'WITH', expect 'SEMICOLON'”，该怎么办
    • 展开全部
    还有其他疑问?
    咨询AI助理