开发者社区> 问答> 正文

如何提高爬取效率?

如何提高爬取效率?

展开
收起
珍宝珠 2019-11-11 11:19:13 2312 0
1 条回答
写回答
取消 提交回答
  • 爬虫下载慢主要原因是阻塞等待发往网站的请求和网站返回

    1,采用异步与多线程,扩大电脑的cpu利用率;
    
    2,采用消息队列模式
    
    3,提高带宽
    
    2019-11-11 12:55:16
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
海量数据场景下的淘宝搜索智能——算法及实践 立即下载
海量数据场景下的淘宝搜索智能—算法及实践 立即下载
低代码开发师(初级)实战教程 立即下载