开发者社区 问答 正文

ahrefs蜘蛛访问很频繁,nginx下给它返回了503,也不行,不知道该怎么办?

188.165.15.66 - - [13/Dec/2014:13:01:17 +0800] "/cp/11_15396103" 503 206 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)" - www.tianxiau.com
188.165.15.89 - - [13/Dec/2014:13:01:18 +0800] "/cp/11_16301319" 503 206 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)" - www.tianxiau.com
188.165.15.176 - - [13/Dec/2014:13:01:22 +0800] "/cp/9_5906437" 503 206 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)" - www.tianxiau.com
188.165.15.136 - - [13/Dec/2014:13:01:24 +0800] "/cp/9_15114502" 503 206 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)" - www.tianxiau.com

展开
收起
天下游 2014-12-13 16:26:41 8900 分享 版权
1 条回答
写回答
取消 提交回答
  • Re:ahrefs蜘蛛访问很频繁,nginx下给它返回了503,也不行,不知道该怎么办 ..
    robots里屏蔽它试试。
    2014-12-15 11:16:59
    赞同 展开评论