开发者社区> 问答> 正文

如何设计爬虫代理机制?

如何设计爬虫代理机制?
目标是抓取几十个网站,但其中只有少数网站的某些域名下会有反爬机制,试着用代理访问,相比不用代理访问速度明显较慢,而且 IP 质量有的很不好,觉得要是本来不用代理的也加代理的话也没必要,但是想让自己的爬虫不被封,还尽可能的有效率,有什么好方法吗,大家都用什么机制?IP 质量难以保证怎么弄啊

展开
收起
OSC开源社区 2024-05-31 17:06:48 20 0
1 条回答
写回答
取消 提交回答
  • 随机轮询代理,可以先用普通算法爬取网站,遇到反爬网站可以通过抓异常的方式,选择代理尝试爬取。可以自己维护一套代理库,某些网站提供每日代理列表,可以自己写算法获取每日的代理列表,就不用自己维护一套代理库了。

    2024-06-05 18:59:28
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Python第五讲——关于爬虫如何做js逆向的思路 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载