开发者社区 问答 正文

如何提高爬取效率?

如何提高爬取效率?

展开
收起
珍宝珠 2019-11-11 11:19:13 2352 分享 版权
1 条回答
写回答
取消 提交回答
  • 爬虫下载慢主要原因是阻塞等待发往网站的请求和网站返回

    1,采用异步与多线程,扩大电脑的cpu利用率;
    
    2,采用消息队列模式
    
    3,提高带宽
    
    2019-11-11 12:55:16
    赞同 展开评论
问答地址: