开发者社区> 问答> 正文

写爬虫是用多进程好?还是多线程好? 为什么?

写爬虫是用多进程好?还是多线程好? 为什么?

展开
收起
珍宝珠 2019-11-01 15:34:22 4973 0
2 条回答
写回答
取消 提交回答
  • 资料显示,如果多线程的进程是CPU密集型的,那多线程并不能有多少效率上的提升,相反还可能会因为线程的频繁切换,导致效率下降,推荐使用多进程;如果是IO密集型,多线程进程可以利用IO阻塞等待时的空闲时间执行其他线程,提升效率。所以我们根据实验对比不同场景的效率

    2019-12-12 14:03:38
    赞同 展开评论 打赏
  • IO密集型代码(文件处理、网络爬虫等),多线程能够有效提升效率(单线程下有IO操作会进行IO等待,造成不必要的时间浪费,而开启多线程能在线程A等待时,自动切换到线程B,可以不浪费CPU的资源,从而能提升程序执行效率)。在实际的数据采集过程中,既考虑网速和响应的问题,也需要考虑自身机器的硬件情况,来设置多进程或多线程

    2019-11-01 15:46:49
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
服务上云加速大家居产业C2M进程 立即下载
Python第五讲——关于爬虫如何做js逆向的思路 立即下载
多IO线程优化版 立即下载

相关实验场景

更多