开发者社区> 问答> 正文

写爬虫使用多进程好,还是用多线程好?

写爬虫使用多进程好,还是用多线程好?

展开
收起
珍宝珠 2019-11-11 11:18:03 3037 0
1 条回答
写回答
取消 提交回答
  • IO密集型代码(文件处理、网络爬虫等),多线程能够有效提升效率(单线程下有IO操作会进行IO等待,造成不必要的时间浪费,而开启多线程能在线程A等待时,自动切换到线程B,可以不浪费CPU的资源,从而能提升程序执行效率)。在实际的数据采集过程中,既考虑网速和响应的问题,也需要考虑自身机器的硬件情况,来设置多进程或多线程

    2019-11-11 12:53:36
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
服务上云加速大家居产业C2M进程 立即下载
Python第五讲——关于爬虫如何做js逆向的思路 立即下载
多IO线程优化版 立即下载

相关实验场景

更多