开发者社区> 问答> 正文

有什么好的方法可以防止网络爬虫进行数据抓取

a123456678 2016-03-17 11:02:40 1576

我先简单说一下,网站使用的是SpringMVC+Tomcat的框架,具有搜索功能,基本就是依靠关键词使用ajax进行post请求,这样爬虫可以通过字典用httpclient等工具抓取数据。

我现在想防止数据被爬取,初步的想法是根据IP的访问次数来过滤,我不知道这方面有没有好的【框架】或者是【服务器软件】或者是【模块】什么的可以自动实现IP限制的功能,还请各位推荐推荐。

或者还有一些其他更好的数据防爬方式,也请告知下。

数据采集 前端开发
分享到
取消 提交回答
全部回答(2)
  • tbula
    2019-07-17 19:04:51

    简单加个登录验证码,就能防止一大波爬虫,或者重要文字弄成图片


    简单加个登录验证码,就能防止大部分爬虫,重要文字变成图片

    0 0
  • a123456678
    2019-07-17 19:04:51

    方法多种多样,但原则就一个:破解成本大于信息本身的价值时,就没人会破解了。

    比如,如果你的数据本身没什么价值,那就规定上午只允许请求接口A,下午只允许请求接口B,就够用了。

    0 0
添加回答
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程