mysql jdbc读取大数据出现内存溢出

简介: useCursorFetch=true&defaultFetchSize=100
+关注继续查看

mysql jdbc默认把select的所有结果全部取回,放到内存中,如果是要遍历很大的表,则可能把内存撑爆。

  • 一种办法是:用limit,offset,但这样你会发现取数据的越来越慢,原因是设置了offset,mysql需要将读取位置移动到offset的位置,随着offset增大,取数据也越来越慢;
  • 另外一种办法是:用数据流的方式取数据,这时需要设置:useCursorFetch=true&defaultFetchSize=100  例如:

    "jdbc:mysql://127.0.0.0:3306/xxxx?useCursorFetch=true&defaultFetchSize=100";

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2天前
|
关系型数据库 MySQL 大数据
大数据Sqoop将mysql直接抽取至Hbase
大数据Sqoop将mysql直接抽取至Hbase
13 0
|
5天前
|
SQL 分布式计算 分布式数据库
大数据Sqoop借助Hive将Mysql数据导入至Hbase
大数据Sqoop借助Hive将Mysql数据导入至Hbase
8 0
|
3月前
|
SQL Oracle 关系型数据库
【大数据学习篇14】centos6安装Mysql(下)
【大数据学习篇14】centos6安装Mysql
31 0
|
3月前
|
SQL Oracle 关系型数据库
【大数据学习篇14】centos6安装Mysql(上)
【大数据学习篇14】centos6安装Mysql
88 0
|
3月前
|
存储 分布式计算 关系型数据库
大数据数据存储的数据库的关系型数据库之MySQL
在大数据领域,数据库是数据存储的一个重要组成部分。关系型数据库MySQL是其中的一种常见类型。本文将对MySQL进行介绍。
49 2
|
3月前
|
SQL 分布式计算 关系型数据库
大数据 | (五)通过Sqoop实现从MySQL导入数据到HDFS
大数据 | (五)通过Sqoop实现从MySQL导入数据到HDFS
|
4月前
|
存储 分布式计算 Oracle
MySQL与Hadoop数据同步方案:Sqoop与Flume的应用探究【上进小菜猪大数据系列】
MySQL与Hadoop数据同步方案:Sqoop与Flume的应用探究【上进小菜猪大数据系列】
191 0
|
8月前
|
Java 关系型数据库 MySQL
【大数据系列之JDBC】(二):IDEA添加MySQL驱动jar包
【大数据系列之JDBC】(二):IDEA添加MySQL驱动jar包
76 0
【大数据系列之JDBC】(二):IDEA添加MySQL驱动jar包
|
8月前
|
关系型数据库 MySQL Java
【大数据系列之MySQL】(三十五):MySQL中的流程控制
【大数据系列之MySQL】(三十五):MySQL中的流程控制
63 0
|
8月前
|
存储 SQL 关系型数据库
【大数据系列之MySQL】(三十四):存储过程的介绍
【大数据系列之MySQL】(三十四):存储过程的介绍
99 0
推荐文章
更多