开发者社区> 问答> 正文

大数据量csv文件按行读取为字符串后,内存溢出的解决方式:报错

需要读取大数据量csv文件,读到内存中。然后进行操作,但是这样会导致内存溢出,我是按行读取的,然后用split()方法解析每行读到的string对象,然后把需要的数据放到一个map中,然后操作map.求众神解答。

展开
收起
kun坤 2020-06-06 16:50:37 948 0
1 条回答
写回答
取消 提交回答
  • csv文件大概有多大?######csv文件1.5G左右,但是split()之后放数组元素到map中后内存占用就变大了######建议你用Spring Batch,处理过10G的文件

    2020-06-06 16:50:41
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载