开发者社区> 问答> 正文

有什么好的方法可以防止网络爬虫进行数据抓取

我先简单说一下,网站使用的是SpringMVC+Tomcat的框架,具有搜索功能,基本就是依靠关键词使用ajax进行post请求,这样爬虫可以通过字典用httpclient等工具抓取数据。

我现在想防止数据被爬取,初步的想法是根据IP的访问次数来过滤,我不知道这方面有没有好的【框架】或者是【服务器软件】或者是【模块】什么的可以自动实现IP限制的功能,还请各位推荐推荐。

或者还有一些其他更好的数据防爬方式,也请告知下。

展开
收起
a123456678 2016-03-17 11:02:40 4428 0
2 条回答
写回答
取消 提交回答
  • 简单加个登录验证码,就能防止一大波爬虫,或者重要文字弄成图片


    简单加个登录验证码,就能防止大部分爬虫,重要文字变成图片

    2019-07-17 19:04:51
    赞同 展开评论 打赏
  • 方法多种多样,但原则就一个:破解成本大于信息本身的价值时,就没人会破解了。

    比如,如果你的数据本身没什么价值,那就规定上午只允许请求接口A,下午只允许请求接口B,就够用了。

    2019-07-17 19:04:51
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
可编程网络视角的网络创新研究 立即下载
可编程网络和SDN3.0 立即下载
Python第五讲——关于爬虫如何做js逆向的思路 立即下载