java项目中从数据库读取一二百万条数据,一般怎么存储:报错 -问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

java项目中从数据库读取一二百万条数据,一般怎么存储:报错

2020-06-06 23:06:40 504 1

java项目中从数据库读取一二百万条数据,取出之后要遍历对一些数据进行操作,放list中内存溢出,这种情况应该怎么存储?求解答

取消 提交回答
全部回答(1)
  • kun坤
    2020-06-06 23:06:45

    取出之后要遍历对一些数据进行操作. 读取的时候,就取一些数据.

    ######

    内存溢出跟放到list里还是放到别的数据结构里没有关系,本身数据量过大。

    参数设置增加内存,或者不全部取出,改为sql直接操作数据库。

    ######

    不能每次取100条么

    ######

    为啥要取一次性取那么多数据

     

    ######

    分页吧,骚年

    ######

    啥数据类型?字符串,二进制?

    ######

    看你后续要做什么,如果只是转换的操作,增加字段,直接在数据库用 sql 干;

    如果后续再其他系统加工;可以放在文件,kafka,redis 里面,主要是看你后续的业务。

    ######要一次性取完么? 可不可以使用数组取,先有一个流,然后边取边往文件夹里面放?求大神指点######不能分批读么?每条数据处理有先后关系么,没有的话完全可以一次只查询少量数据吧?######

    直接sql语句筛选啊,拿出来筛选效率太低了

    0 0
相关问答

20

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 1284112浏览量 回答数 20

170

回答

惊喜翻倍:免费ECS+免费环境配置~!(ECS免费体验6个月活动3月31日结束)

豆妹 2014-10-29 17:52:21 234165浏览量 回答数 170

145

回答

【新手入门】云服务器linux使用手册

fanyue88888 2012-11-26 17:14:18 160108浏览量 回答数 145

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 341525浏览量 回答数 8

119

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 302893浏览量 回答数 119

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 149078浏览量 回答数 22

24

回答

阿里云开放端口权限

xcxx 2016-07-20 15:03:33 661093浏览量 回答数 24

39

回答

安全组详解,新手必看教程

我的中国 2017-11-30 15:23:46 263782浏览量 回答数 39

21

回答

请教一下数据量有100万条左右要什么配置?

易网网络 2013-03-27 15:18:02 193773浏览量 回答数 21

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 205817浏览量 回答数 2
+关注
0
文章
13401
问答
问答排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载