Googlebot提示无法访问robots.txt
在过去 24 小时内，Googlebot 在尝试访问您的 robots.txt 时遇到了 36 个错误。为确保不会抓取该文件中列出的任何网页，我们推迟了抓取操作。您网站的 robots.txt 总体错误率为 100.0%。
最近怎么回事，访问都很正常，可是Google管理员工具测试
访问站点全部提示页面无法访问！！
展开
收起
11
条回答
写回答
写回答
-
-
-
ReGooglebot提示无法访问robots.txt想都不用想啊，谷歌大部分海外IP段都被功夫网给ban掉了（只有小部分备用和google global cache节点正常），根本进不来。这路都断了当然访问不了你站点的robots.txt。2015-03-01 15:46:43赞同 展开评论 打赏
-
ReGooglebot提示无法访问robots.txt用dns.la来解析，google抓取错误会少很多。
另外，如果不是经常这样，可以忽略不管。2015-02-28 21:12:07赞同 展开评论 打赏 -
ReGooglebot提示无法访问robots.txtgoogle无法访问robots.txt我也是这样的问题 现在还没有解决。2015-02-28 19:07:01赞同 展开评论 打赏 -
ReGooglebot提示无法访问robots.txt这个貌似是谷歌每个地区都有自己的蜘蛛，不同地区的蜘蛛访问某个地区ip问题所致吧2013-11-08 11:37:27赞同 展开评论 打赏
-
ReGooglebot提示无法访问robots.txt我也有相同的问题，也是用阿里云服务器的。我的robots文件是正确的和别人对比过 我的提示错误如下 请求大家帮忙啊。
在过去 24 小时内，Googlebot 在尝试访问您的 robots.txt 时遇到了 33 个错误。为确保不会抓取该文件中列出的任何网页，我们推迟了抓取操作。您网站的 robots.txt 总体错
我的网站 si4463无线模块2013-11-07 22:35:05赞同 展开评论 打赏 -
-
-
-
ReGooglebot提示无法访问robots.txt好奇怪啊，测试了一下，同一台阿里云的云主机，一个站点Googlebot 测试抓取正常，另一个站点就是页面错误。。。。。。。2013-10-03 09:18:31赞同 展开评论 打赏
滑动查看更多
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
