一个关于多进程分块读写大文件的问题
问题是这样的：
有一个比较大的文件file1 ， 它的内容格式是一行一行的 ， 比如
1|123|abc
2|212|lca
3|123|asd
x
x
x
现在，我想用多个进程同时分块读取文件 ，分别处理 。 那么怎么做才能保证每个进程分到的块正好是完整的一行。
刚刚接触这一块的东西，还望指导。
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
如果是为了提高效率，分进程读是没有什么意义的，因为这个快不快主要取决于磁盘的IO，如果你为了分行还需要进行特殊处理的话，不可避免的大量随机读。还不如用一个进程顺序读入，然后切割分给n个进程进行处理。说实话如果处理逻辑不是很复杂的话，提高IO的效率比搞几个进程好。提高IO的效率还是多用用操作系统的特性吧。`
2019-07-17 19:27:33赞同 展开评论
相关问答