开发者社区 问答 正文

防范网站爬虫,应该怎么来提高爬取的难度 ?

防范网站爬虫,应该怎么来提高爬取的难度 ?

展开
收起
珍宝珠 2019-11-11 11:11:50 2881 分享 版权
1 条回答
写回答
取消 提交回答
  • 1.判断headers的User-Agent;
    2.检测同一个IP的访问频率;
    3.数据通过Ajax获取;
    4.爬取行为是对页面的源文件爬取,如果要爬取静态网页的html代码,可以使用jquery去模仿写html。

    2019-11-11 12:48:42
    赞同 展开评论
问答分类:
问答地址: