开发者社区 问答 正文

urllib库中ProxyHandler 有什么作用?

urllib库中ProxyHandler 有什么作用?

展开
收起
游客5n3d3br4o5qn4 2021-11-17 23:48:28 506 分享 版权
1 条回答
写回答
取消 提交回答
  • 许多网站会检测某一时间段某个 IP 的访问次数(通过流量统计,系统日志等),如果访问次数多得不像正常人,它会禁止这个 IP 的访问。所以我们可以设置一些代理服务器,每隔一段时间换一个代理,就算 IP 被禁止,依然可以换个 IP 继续爬取数据。 urllib 中通过 ProxyHandler 来设置使用代理服务器

    2021-11-18 08:21:17
    赞同 展开评论
问答分类:
问答地址: