java如何解决上亿级别的数据读取,及内存开销.：报错
如用户上网时间段合并，用户的上网时间段可能有上亿级别的数据也可能有千万，首先得读取到用户这些数据，怎么解决大数据量的问题，及内存的开销呢？
展开
收起
1
条回答
写回答
写回答
-
建议考虑下NoSql数据库和Map/Reduce架构（如Hadoop）######放在数据库里面######
一个用户有上亿条数据？
还是在上亿条里面有所有用户。
######就是解决大数据在java中的计算，及内存开销问题######分布式集群、搜索引擎和nosql
######对于这种上网日志行为的数据。如果把所有用户的数据放到同一个表格同一个数据库里面，说明设计上就有问题。
这种历史数据，完全可以采用分库分表策略（按用户的ID进行分库分表）
######换php######你确定 这样可以？######他说有1一条日志，不是1亿访问量，用个算法处理一下，再分文件存储 [0]###### 应该分层处理以及避免过早优化， 程序该怎么写就怎么写。
数据库自动cache或者加面对开发透明的cache，诸如mc/redis，适当修改逻辑，提高命中率就好。 不过要考虑网络传输成本，或者多几个节点来分流预热数据，尽量减少网络和磁盘开销。Java数据读取：http://edu.51cto.com/course/course_id-3283.html2020-06-06 23:14:47赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
