开发者社区> 问答> 正文

写爬虫是用多进程好还是多线程好?

写爬虫是用多进程好还是多线程好?

展开
收起
真的很搞笑 2021-11-02 23:30:37 426 0
1 条回答
写回答
取消 提交回答
  • IO密集型代码(文件处理、网络爬虫等),多线程能够有效提升效率(单线程下有IO操作会进行IO等待,造成不必要的时间浪费,而开启多线程能在线程A等待时,自动切换到线程B,可以不浪费CPU的资源,从而能提升程序执行效率)。在实际的数据采集过程中,既考虑网速和响应的问题,也需要考虑自身机器的硬件情况,来设置多进程或多线程

    2021-11-02 23:31:37
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
服务上云加速大家居产业C2M进程 立即下载
Python第五讲——关于爬虫如何做js逆向的思路 立即下载
多IO线程优化版 立即下载

相关实验场景

更多