Googlebot提示无法访问robots.txt

在过去 24 小时内，Googlebot 在尝试访问您的 robots.txt 时遇到了 36 个错误。为确保不会抓取该文件中列出的任何网页，我们推迟了抓取操作。您网站的 robots.txt 总体错误率为 100.0%。

最近怎么回事，访问都很正常，可是Google管理员工具测试访问站点全部提示页面无法访问！！

展开

收起

ap8496v3k 2013-10-03 08:53:53 10075 0

11 条回答

写回答

取消提交回答

ajane

ReGooglebot提示无法访问robots.txt

2015-03-01 21:50:15

赞同展开评论打赏
mytsing520

回10楼high飞起的帖子
只是出不去，可以进的来。。另外ban掉这个过程是在骨干网上进行的，不是在出口。。

2015-03-01 19:33:32

赞同展开评论打赏
high飞起

ReGooglebot提示无法访问robots.txt
想都不用想啊，谷歌大部分海外IP段都被功夫网给ban掉了（只有小部分备用和google global cache节点正常），根本进不来。这路都断了当然访问不了你站点的robots.txt。

2015-03-01 15:46:43

赞同展开评论打赏
谁啊

ReGooglebot提示无法访问robots.txt
用dns.la来解析，google抓取错误会少很多。
另外，如果不是经常这样，可以忽略不管。

2015-02-28 21:12:07

赞同展开评论打赏
noodles

ReGooglebot提示无法访问robots.txt
google无法访问robots.txt我也是这样的问题现在还没有解决。

2015-02-28 19:07:01

赞同展开评论打赏
life1713

ReGooglebot提示无法访问robots.txt
这个貌似是谷歌每个地区都有自己的蜘蛛，不同地区的蜘蛛访问某个地区ip问题所致吧

2013-11-08 11:37:27

赞同展开评论打赏
烟柳画桥

ReGooglebot提示无法访问robots.txt
我也有相同的问题，也是用阿里云服务器的。我的robots文件是正确的和别人对比过我的提示错误如下请求大家帮忙啊。

在过去 24 小时内，Googlebot 在尝试访问您的 robots.txt 时遇到了 33 个错误。为确保不会抓取该文件中列出的任何网页，我们推迟了抓取操作。您网站的 robots.txt 总体错
我的网站 si4463无线模块

2013-11-07 22:35:05

赞同展开评论打赏
puffbaby

ReGooglebot提示无法访问robots.txt
使用的是哪家的解析服务？

2013-10-30 09:58:56

赞同展开评论打赏
Kal

ReGooglebot提示无法访问robots.txt
正常不用理会，或许是访问的时候，你的服务器刚好挂了吧

2013-10-03 16:00:57

赞同展开评论打赏
小猪猪

实在不行干脆删除 robots.txt 好了删除也没什么大问题的

2013-10-03 09:41:00

赞同展开评论打赏
ap8496v3k

ReGooglebot提示无法访问robots.txt
好奇怪啊，测试了一下，同一台阿里云的云主机，一个站点Googlebot 测试抓取正常，另一个站点就是页面错误。。。。。。。

2013-10-03 09:18:31

赞同展开评论打赏