现对每条记录取hashcode()%1000后分割成1000个文件,求问怎样分割效率高点?:报错 -问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

现对每条记录取hashcode()%1000后分割成1000个文件,求问怎样分割效率高点?:报错

kun坤 2020-06-07 00:03:00 48

1个G左右的文本文件,每行一个记录,现对每条记录取hashcode()%1000后分割成1000个文件,求问怎样分割效率高点?:报错

现在就是新建1000个文件,然后逐行读取记录计算hashcode()%X后写入相应的文件中,试了下,估计几个小时都做不完。请问有什么比较好的方法?? JAVA

Java
分享到
取消 提交回答
全部回答(1)
  • kun坤
    2020-06-07 00:03:04

    一次处理1000行数据不行么....多开几个线程...######你只得一次处理是如何呢?还是要对每行数据hashcode()%1000######用split命令把文件切割成小文件,然后开线程跑呗。######c 或者 。。。 python ..
    ######你要知道程序把时间都耗在哪了?分别写入1000个文件,就够麻烦的了。先开1000个文件流,再搞1000个队列,?个线程,不停的从对应队列里取字符串。主进程读取1G文件,分发字符串到1000个队列……nio,各种搞。真心没干过,不知道######

    引用来自“七念”的答案

    用split命令把文件切割成小文件,然后开线程跑呗。
    +1024
    0 0
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题
推荐课程