开发者社区> 问答> 正文

防止网络爬虫进行数据抓取

我先简单说一下,网站使用的是SpringMVC+Tomcat的框架,具有搜索功能,基本就是依靠关键词使用ajax进行post请求,这样爬虫可以通过字典用httpclient等工具抓取数据。

我现在想防止数据被爬取,初步的想法是根据IP的访问次数来过滤,我不知道这方面有没有好的【框架】或者是【服务器软件】或者是【模块】什么的可以自动实现IP限制的功能,还请各位推荐推荐。

或者还有一些其他更好的数据防爬方式,也请告知下。

展开
收起
落地花开啦 2016-05-30 18:27:14 3776 0
1 条回答
写回答
取消 提交回答
  • 喜欢技术,喜欢努力的人

    最简单请求频繁次数限制,每次提示时增加限制级别,比如警告,验证,直接505

    2019-07-17 19:20:55
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
可编程网络视角的网络创新研究 立即下载
可编程网络和SDN3.0 立即下载
开放促进创新:构建开放网络生态 立即下载

相关实验场景

更多