开发者社区> 问答> 正文

遇到的反爬虫策略以及解决方法?

遇到的反爬虫策略以及解决方法?

展开
收起
珍宝珠 2019-11-11 11:11:37 2963 0
1 条回答
写回答
取消 提交回答
  • 通过headers反爬虫:自定义headers,添加网页中的headers数据。
    基于用户行为的反爬虫(封IP):可以使用多个代理IP爬取或者将爬取的频率降低。
    动态网页反爬虫(JS或者Ajax请求数据):动态网页可以使用 selenium + phantomjs 抓取。
    对部分数据加密处理(数据乱码):找到加密方法进行逆向推理。

    2019-11-11 12:48:00
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Python第五讲——关于爬虫如何做js逆向的思路 立即下载
代码未写,漏洞已出——谈谈设计不当导致的安全问题 立即下载
低代码开发师(初级)实战教程 立即下载