开发者社区> 问答> 正文

爬虫去重有哪些解决方案以及python scrapy爬取超时怎么处理?

爬虫去重有哪些解决方案以及python scrapy爬取超时怎么处理?

展开
收起
OSC开源社区 2024-05-28 23:25:05 6 0
1 条回答
写回答
取消 提交回答
  • 如果是使用非框架的爬虫,可以通过判断其URL或者数据的唯一性进行去重,若是scrapy,默认是开启去重设置的。

    对于超时,scrapy可以设置超时的时限,若发生超时,默认情况下会重新发送请求。若是非框架的爬虫,可以通过判断响应内容或HTTP状态码。

    2024-05-30 08:33:12
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
From Python Scikit-Learn to Sc 立即下载
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载