求助啊，各种蜘蛛快怕疯了
真是要命啊，已经屏蔽了好多蜘蛛了，但有些屏蔽不了啊,我只能屏蔽IP了，但是太多了。。。
比如"Mozilla/5.0 (compatible; ChinasoSpider; +http://shoulu.jike.com/spider.html)，今天这个蜘蛛疯了，多线程狂爬，我的1G内存飙升到还剩200MB就用光了，怎么屏蔽掉它啊，robots它了，没用，它还是爬...
展开
收起
12
条回答
写回答
写回答
-
-
-
Re求助啊，各种蜘蛛快怕疯了我的也是。
这段时间不是cpu百分百，就是硬盘读30M/秒，服务器不定时挂掉，可网站ＩＰ每天才二十个左右，启用云盾，全部调到最小值，终于没事了，然后查看攻击ＩＰ，大部分都是美国的，有谷歌，也有微软的。2014-07-02 21:17:49赞同 展开评论 打赏 -
如果用nginx，可以参考下面的规则：
if ($http_user_agent ~* chinaso ) {
rewrite ^(.*)$ http://www.baidu.com/ permanent;
}2014-07-02 19:12:20赞同 展开评论 打赏 -
-
-
回 楼主(allyess) 的帖子对于一些伪蜘蛛，如影响到站点访问，是可以进行这方面处理。
楼主可以尝试根据agent规则进行屏蔽。
如有疑问可以联系我。2014-07-01 08:23:47赞同 展开评论 打赏 -
回 2楼(holdb) 的帖子看来你还没碰到过，你些蜘蛛是我们所需要的，因为他们可以带来流量，但有些蜘蛛带来不了任何流量，而且影响了你的服务器。2014-07-01 07:40:05赞同 展开评论 打赏 -
-
Re求助啊，各种蜘蛛快怕疯了用了，不好使-------------------------
Re求助啊，各种蜘蛛快怕疯了不知道是不是，反正很多2014-06-30 22:47:32赞同 展开评论 打赏 -
别人怕蜘蛛不来你还要屏蔽。-------------------------
回 6楼(cn0555) 的帖子学习了。第一次知道蜘蛛也可以把服务器搞死。2014-06-30 21:50:24赞同 展开评论 打赏 -
滑动查看更多
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
