求助啊，各种蜘蛛快怕疯了

真是要命啊，已经屏蔽了好多蜘蛛了，但有些屏蔽不了啊,我只能屏蔽IP了，但是太多了。。。
比如"Mozilla/5.0 (compatible; ChinasoSpider; +http://shoulu.jike.com/spider.html)，今天这个蜘蛛疯了，多线程狂爬，我的1G内存飙升到还剩200MB就用光了，怎么屏蔽掉它啊，robots它了，没用，它还是爬...

展开

收起

allyess 2014-06-30 21:10:24 7828 0

12 条回答

写回答

取消提交回答

天佑:

Re求助啊，各种蜘蛛快怕疯了
买瓶杀虫剂杀了它们

2014-07-02 22:13:01

赞同展开评论打赏
零云科技

爱好建站

蜘蛛来我这把我不介意的

2014-07-02 22:10:43

赞同展开评论打赏
wanleyou

Re求助啊，各种蜘蛛快怕疯了
我的也是。
这段时间不是cpu百分百，就是硬盘读30M/秒，服务器不定时挂掉，可网站ＩＰ每天才二十个左右，启用云盾，全部调到最小值，终于没事了，然后查看攻击ＩＰ，大部分都是美国的，有谷歌，也有微软的。

2014-07-02 21:17:49

赞同展开评论打赏
小夜博客

如果用nginx，可以参考下面的规则：

if ($http_user_agent ~* chinaso ) {
rewrite ^(.*)$ http://www.baidu.com/ permanent;
}

2014-07-02 19:12:20

赞同展开评论打赏
dns2008

看样子你这不是真蜘蛛，而是伪蜘蛛攻击，很多CC攻击就是伪蜘蛛

2014-07-02 19:08:25

赞同展开评论打赏
云想未来

Re求助啊，各种蜘蛛快怕疯了
你要屏蔽干什么？蜘蛛来了才会有流量！傻傻的升级下配置就得了

2014-07-01 08:42:41

赞同展开评论打赏
365代维

回楼主(allyess) 的帖子
对于一些伪蜘蛛，如影响到站点访问，是可以进行这方面处理。
楼主可以尝试根据agent规则进行屏蔽。
如有疑问可以联系我。

2014-07-01 08:23:47

赞同展开评论打赏
cn0555

回 2楼(holdb) 的帖子
看来你还没碰到过，你些蜘蛛是我们所需要的，因为他们可以带来流量，但有些蜘蛛带来不了任何流量，而且影响了你的服务器。

2014-07-01 07:40:05

赞同展开评论打赏
vasky6

Re求助啊，各种蜘蛛快怕疯了
是不是伪装的蜘蛛太多了，一般情况下搜索引擎会根据网站的承受压力来抓取的。

2014-06-30 23:09:02

赞同展开评论打赏
allyess

Re求助啊，各种蜘蛛快怕疯了
用了，不好使
-------------------------

Re求助啊，各种蜘蛛快怕疯了
不知道是不是，反正很多

2014-06-30 22:47:32

赞同展开评论打赏
holdb

别人怕蜘蛛不来你还要屏蔽。
-------------------------

回 6楼(cn0555) 的帖子
学习了。第一次知道蜘蛛也可以把服务器搞死。

2014-06-30 21:50:24

赞同展开评论打赏
云代维

为什么不屏蔽useragent，封IP不得累死。

2014-06-30 21:11:50

赞同展开评论打赏