现对每条记录取hashcode()%1000后分割成1000个文件，求问怎样分割效率高点？：报错
1个G左右的文本文件，每行一个记录，现对每条记录取hashcode()%1000后分割成1000个文件，求问怎样分割效率高点？：报错
现在就是新建1000个文件，然后逐行读取记录计算hashcode()%X后写入相应的文件中，试了下，估计几个小时都做不完。请问有什么比较好的方法?? JAVA
展开
收起
1
条回答
写回答
写回答
-
一次处理1000行数据不行么....多开几个线程...######你只得一次处理是如何呢？还是要对每行数据hashcode()%1000######用split命令把文件切割成小文件，然后开线程跑呗。######c 或者 。。。 python ..
######你要知道程序把时间都耗在哪了？分别写入1000个文件，就够麻烦的了。先开1000个文件流，再搞1000个队列，？个线程，不停的从对应队列里取字符串。主进程读取1G文件，分发字符串到1000个队列……nio，各种搞。真心没干过，不知道######引用来自“七念”的答案
用split命令把文件切割成小文件，然后开线程跑呗。+10242020-06-07 00:03:04赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
