[@倚贤][¥20]我的web应用经常被爬虫数据,导致宕机,有没有什么好的反爬手段?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

[@倚贤][¥20]我的web应用经常被爬虫数据,导致宕机,有没有什么好的反爬手段?

东陵碣石 2018-10-29 20:18:25 1194

我的web应用经常被爬虫数据,导致宕机,有没有什么好的反爬手段?

数据采集
分享到
取消 提交回答
全部回答(2)
  • 倚贤
    2019-07-17 23:10:55
    1. 如果某个 IP 访问超过阈值,封掉
    2. 会话超过阈值,封掉
    3. 识别 agent,标识是爬虫的,封掉
    0 0
  • 凉粉
    2019-07-17 23:10:54

    可以在网关通过userAgent 识别爬虫,然后返回404或其他,可以屏蔽大多数爬虫了。

    0 0
添加回答
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题