防止网络爬虫进行数据抓取-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

防止网络爬虫进行数据抓取

2016-05-30 18:27:14 3280 1

我先简单说一下,网站使用的是SpringMVC+Tomcat的框架,具有搜索功能,基本就是依靠关键词使用ajax进行post请求,这样爬虫可以通过字典用httpclient等工具抓取数据。

我现在想防止数据被爬取,初步的想法是根据IP的访问次数来过滤,我不知道这方面有没有好的【框架】或者是【服务器软件】或者是【模块】什么的可以自动实现IP限制的功能,还请各位推荐推荐。

或者还有一些其他更好的数据防爬方式,也请告知下。

取消 提交回答
全部回答(1)
  • 落地花开啦
    2019-07-17 19:20:55

    最简单请求频繁次数限制,每次提示时增加限制级别,比如警告,验证,直接505

    0 0
相关问答

1

回答

中国是如何进行数据治理的?

2022-04-13 17:40:14 296浏览量 回答数 1

1

回答

为防止数据库压力过大,在哪些场景需要在数据库端做优化控制?

2021-12-24 15:27:10 113浏览量 回答数 1

1

回答

什么是网络的数据概念?

2021-11-17 15:52:23 380浏览量 回答数 1

0

回答

请问java 应用程序执行查询数据库表时对结果集进行排序操作时性能非常慢,该如何优化呢?

2021-11-12 17:17:55 244浏览量 回答数 0

1

回答

数据问题

2018-10-15 11:26:08 326浏览量 回答数 1

1

回答

网站数据被清空

2018-07-22 16:05:00 493浏览量 回答数 1

0

回答

查看监控数据

2017-10-17 15:29:21 2184浏览量 回答数 0

0

回答

网络媒体数据集产品都有哪些内容?

2016-06-12 10:21:09 3820浏览量 回答数 0

4

回答

云服务器网站如何做整站备份和 数据库备份

2015-12-16 15:06:07 7022浏览量 回答数 4

1

回答

数据问题

2014-03-13 11:00:52 3996浏览量 回答数 1
+关注
落地花开啦
喜欢技术,喜欢努力的人
0
文章
7824
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载