mysql jdbc默认把select的所有结果全部取回，放到内存中，如果是要遍历很大的表，则可能把内存撑爆。
- 一种办法是：用limit，offset，但这样你会发现取数据的越来越慢，原因是设置了offset，mysql需要将读取位置移动到offset的位置，随着offset增大，取数据也越来越慢；
- 另外一种办法是：用数据流的方式取数据，这时需要设置：useCursorFetch=true&defaultFetchSize=100 例如：
"jdbc:mysql://127.0.0.0:3306/xxxx?useCursorFetch=true&defaultFetchSize=100";
mysql jdbc读取大数据出现内存溢出
2018-09-18
3710
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
useCursorFetch=true&defaultFetchSize=100
相关实践学习
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
3月前
|
分布式计算
关系型数据库
MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
63
3
3
|
3月前
|
消息中间件
分布式计算
关系型数据库
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
69
0
0
|
3月前
|
消息中间件
关系型数据库
MySQL
大数据-117 - Flink DataStream Sink 案例：写出到MySQL、写出到Kafka
大数据-117 - Flink DataStream Sink 案例：写出到MySQL、写出到Kafka
270
0
0
|
3月前
|
Java
关系型数据库
MySQL
|
3月前
|
缓存
监控
关系型数据库
|
3月前
|
存储
缓存
监控
|
3月前
|
SQL
监控
关系型数据库
如何查看MySQL使用的内存
综合运用上述方法，您可以全方位地监控和管理MySQL的内存使用。从简单查看配置到深入分析实时内存占用，每种方法都有其适用场景和优势。定期检查和调整MySQL的内存配置，对于维持数据库性能和稳定性至关重要。
698
0
0
|
3月前
|
SQL
分布式计算
关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
145
0
0
|
3月前
|
SQL
分布式计算
关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
62
0
0
|
3月前
|
SQL
分布式计算
关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
80
0
0
热门文章
最新文章
1
springboot java.lang.ClassNotFoundException: dm.jdbc.driver.DmDriver应该如何解决
2
Cause: dm.jdbc.driver.DMException: Digital overflow
3
JDBC编程安装———通过代码操控数据库
4
阿里云服务器经济型、通用算力型、计算型、通用型、内存型实例区别与选择指南
5
为何内存不够用？微服务改造启动多个Spring Boot的陷阱与解决方案
6
DMA（Direct Memory Access）：直接内存访问
7
【运维】如何在Ubuntu中设置一个内存守护进程来确保内存不会溢出
8
Linux：进程间通信（共享内存详细讲解以及小项目使用和相关指令、消息队列、信号量）
9
堆内存分配策略解密
10
从零开始掌握进程间通信：管道、信号、消息队列、共享内存大揭秘
1
MaxFrame 产品评测：大数据与AI融合的Python分布式计算框架
30
2
高科技生命体征探测器、情绪感受器以及传感器背后的大数据平台在健康监测、生命体征检测领域的设想与系统构建
108
3
我的阿里云社区年度总结报告：Python、人工智能与大数据领域的探索之旅
69
4
DataWorks产品评测：大数据开发治理的深度体验
43
5
MaxCompute MaxFrame评测 | 分布式Python计算服务MaxFrame（完整操作版）
38
6
大数据& AI 产品月刊【2024年12月】
150
7
odps测试表及大量数据构建测试
113
8
软硬结合助力倚天云原生算力再进化，加速大数据、视频转码上云步伐
30
9
MaxFrame：链接大数据与AI的高效分布式计算框架深度评测与实践！
44
10
媒体声音｜专访阿里云数据库周文超博士：AI就绪的智能数据平台设计思路
174