ahrefs蜘蛛访问很频繁，nginx下给它返回了503，也不行，不知道该怎么办？
188.165.15.66 - - [13/Dec/2014:13:01:17 +0800] "/cp/11_15396103" 503 206 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)" - www.tianxiau.com
188.165.15.89 - - [13/Dec/2014:13:01:18 +0800] "/cp/11_16301319" 503 206 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)" - www.tianxiau.com
188.165.15.176 - - [13/Dec/2014:13:01:22 +0800] "/cp/9_5906437" 503 206 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)" - www.tianxiau.com
188.165.15.136 - - [13/Dec/2014:13:01:24 +0800] "/cp/9_15114502" 503 206 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)" - www.tianxiau.com
写回答
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关文章
相关电子书
更多
