使用MySQL流式传输大型结果集?mysql
我正在开发一个使用大型MySQL表的spring应用程序。加载大表时，我得到一个OutOfMemoryException，因为驱动程序试图将整个表加载到应用程序内存中。
我尝试使用
statement.setFetchSize(Integer.MIN_VALUE); 但是然后我打开的每个ResultSet都挂了close(); 在网上查看时，我发现发生这种情况是因为它尝试在关闭ResultSet之前尝试加载所有未读的行，但事实并非如此，因为我这样做是：
ResultSet existingRecords = getTableData(tablename); try { while (existingRecords.next()) { // ... } } finally { existingRecords.close(); // this line is hanging, and there was no exception in the try clause } 小表（3行）也会发生挂起，如果我不关闭RecordSet（在一种方法中发生），则会connection.close()挂起。
挂起的堆栈跟踪：
SocketInputStream.socketRead0（FileDescriptor，byte []，int，int，int）行：不可用[本机方法] SocketInputStream.read（byte []，int，int）行：129 ReadAheadInputStream.fill（int）行：113 ReadAheadInputStream。 readFromUnderlyingStreamIfNecessary（byte []，int，int）行：160 ReadAheadInputStream.read（byte []，int，int）行：188 MysqlIO.readFully（InputStream，byte []，int，int）行：2428 MysqlIO.reuseAndReadPacket（Buffer ，int）行：2882 MysqlIO.reuseAndReadPacket（Buffer）行：2871 MysqlIO.checkErrorPacket（int）行：3414 MysqlIO.checkErrorPacket（）行：910 MysqlIO.nextRow（Field []，int，boolean，int，boolean，boolean，布尔值，缓冲区）行：1405 RowDataDynamic.nextRecord（）行：413 RowDataDynamic.next（）行：392 RowDataDynamic.close（）行：170 JDBC4ResultSet（ResultSetImpl）.realClose（boolean）行：7473 JDBC4ResultSet（ResultSetImpl）.close（）行：881 DelegatingResultSet.close （）行：152 DelegatingResultSet.close（）行：152 DelegatingPreparedStatement（DelegatingStatement）.close（）行：163 （这是我的课程）Database.close（）行：84
写回答
-
仅设置获取大小不是正确的方法。的javadocStatement#setFetchSize()已经声明以下内容：
向JDBC驱动程序提示应从数据库中获取的行数
驱动程序实际上可以自由地应用或忽略提示。一些驱动程序忽略它，一些驱动程序直接应用它，一些驱动程序需要更多参数。MySQL JDBC驱动程序属于最后一类。如果查看MySQL JDBC驱动程序文档，将看到以下信息（向下滚动约2/3，直到标题ResultSet为止）：
要启用此功能，您需要通过以下方式创建一个Statement实例：
stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY); stmt.setFetchSize(Integer.MIN_VALUE); 请阅读文档的整个部分，它也描述了这种方法的注意事项。这是一个相关的引用：
这种方法有一些警告。您必须先读取（或关闭）结果集中的所有行，然后才能对连接发出任何其他查询，否则将引发异常。
（...）
如果该语句在事务范围内，则在事务完成时释放锁（这意味着该语句需要先完成）。与大多数其他数据库一样，在读取该语句上所有未决的结果或关闭该语句的活动结果集之前，该语句是不完整的。
如果不能解决OutOfMemoryError（not Exception）问题，则可能是您将所有数据存储在Java内存中，而不是在数据输入后立即进行处理。这可能需要对代码进行更多更改，也许完全重写。在此之前，我已经回答了类似的问题。来源：stack overflow
2020-05-16 20:55:22赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
