mysql jdbc默认把select的所有结果全部取回，放到内存中，如果是要遍历很大的表，则可能把内存撑爆。
- 一种办法是：用limit，offset，但这样你会发现取数据的越来越慢，原因是设置了offset，mysql需要将读取位置移动到offset的位置，随着offset增大，取数据也越来越慢；
- 另外一种办法是：用数据流的方式取数据，这时需要设置：useCursorFetch=true&defaultFetchSize=100 例如：
"jdbc:mysql://127.0.0.0:3306/xxxx?useCursorFetch=true&defaultFetchSize=100";
mysql jdbc读取大数据出现内存溢出
2018-09-18
3704
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
useCursorFetch=true&defaultFetchSize=100
相关实践学习
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
分布式计算
关系型数据库
MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
56
3
3
|
2月前
|
消息中间件
分布式计算
关系型数据库
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
62
0
0
|
2月前
|
消息中间件
关系型数据库
MySQL
大数据-117 - Flink DataStream Sink 案例：写出到MySQL、写出到Kafka
大数据-117 - Flink DataStream Sink 案例：写出到MySQL、写出到Kafka
206
0
0
|
2月前
|
Java
大数据
数据库连接
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
39
2
2
|
2月前
|
缓存
监控
关系型数据库
|
2月前
|
存储
缓存
监控
|
2月前
|
SQL
监控
关系型数据库
如何查看MySQL使用的内存
综合运用上述方法，您可以全方位地监控和管理MySQL的内存使用。从简单查看配置到深入分析实时内存占用，每种方法都有其适用场景和优势。定期检查和调整MySQL的内存配置，对于维持数据库性能和稳定性至关重要。
477
0
0
|
2月前
|
SQL
分布式计算
Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
68
0
0
|
4月前
|
存储
JSON
关系型数据库
|
4月前
|
关系型数据库
MySQL
大数据
热门文章
最新文章
1
springboot java.lang.ClassNotFoundException: dm.jdbc.driver.DmDriver应该如何解决
2
JDBC常用特性-SSH隧道连接
3
gbase8a JDBC常用特性-Kerberos认证方式连接
4
南大通用 GBase 8s JDBC字符集参数详解
5
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
6
针对MaxCompute经典网络域名下线，Dataphin应对策略的公告
7
深入探索人工智能与大数据的融合之路
8
大数据时代的引擎：大数据架构随记
9
大数据& AI 产品月刊【2024年11月】
10
在大数据时代，高维数据处理成为难题，主成分分析（PCA）作为一种有效的数据降维技术，通过线性变换将数据投影到新的坐标系
1
Java医院绩效考核系统源码B/S+avue+MySQL助力医院实现精细化管理
82
2
Linux对MySQL语法校验
94
3
【MySQL系列笔记】分库分表
226
4
mysql 设置环境变量与未设置环境变量连接数据库的区别
169
5
服务器Linux系统配置mysql数据库主从自动备份
218
6
mysqlTools 一分钟部署安装本mysql多个版本，解锁繁琐部署过程
422
7
golang使用gorm操作mysql3，数据查询
100
8
golang使用gorm操作mysql2
68
9
golang使用gorm操作mysql1
116
10
Hbase与MySQL对比，区别是什么？
326