开发者社区> 问答> 正文

防止网络爬虫进行数据抓取

落地花开啦 2016-05-30 18:27:14 1640

我先简单说一下,网站使用的是SpringMVC+Tomcat的框架,具有搜索功能,基本就是依靠关键词使用ajax进行post请求,这样爬虫可以通过字典用httpclient等工具抓取数据。

我现在想防止数据被爬取,初步的想法是根据IP的访问次数来过滤,我不知道这方面有没有好的【框架】或者是【服务器软件】或者是【模块】什么的可以自动实现IP限制的功能,还请各位推荐推荐。

或者还有一些其他更好的数据防爬方式,也请告知下。

数据采集 前端开发
分享到
取消 提交回答
全部回答(1)
  • 落地花开啦
    2019-07-17 19:20:55

    最简单请求频繁次数限制,每次提示时增加限制级别,比如警告,验证,直接505

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程