开发者社区> 问答> 正文

Googlebot提示无法访问robots.txt

在过去 24 小时内,Googlebot 在尝试访问您的 robots.txt 时遇到了 36 个错误。为确保不会抓取该文件中列出的任何网页,我们推迟了抓取操作。您网站的 robots.txt 总体错误率为 100.0%。


最近怎么回事,访问都很正常,可是Google管理员工具测试 访问站点全部提示页面无法访问!!

展开
收起
ap8496v3k 2013-10-03 08:53:53 10074 0
11 条回答
写回答
取消 提交回答
  • ReGooglebot提示无法访问robots.txt
      
    2015-03-01 21:50:15
    赞同 展开评论 打赏
  • 回10楼high飞起的帖子
    只是出不去,可以进的来。。另外ban掉这个过程是在骨干网上进行的,不是在出口。。
    2015-03-01 19:33:32
    赞同 展开评论 打赏
  • ReGooglebot提示无法访问robots.txt
    想都不用想啊,谷歌大部分海外IP段都被功夫网给ban掉了(只有小部分备用和google global cache节点正常),根本进不来。这路都断了当然访问不了你站点的robots.txt。
    2015-03-01 15:46:43
    赞同 展开评论 打赏
  • ReGooglebot提示无法访问robots.txt
    用dns.la来解析,google抓取错误会少很多。
    另外,如果不是经常这样,可以忽略不管。
    2015-02-28 21:12:07
    赞同 展开评论 打赏
  • ReGooglebot提示无法访问robots.txt
    google无法访问robots.txt我也是这样的问题 现在还没有解决。
    2015-02-28 19:07:01
    赞同 展开评论 打赏
  • ReGooglebot提示无法访问robots.txt
    这个貌似是谷歌每个地区都有自己的蜘蛛,不同地区的蜘蛛访问某个地区ip问题所致吧
    2013-11-08 11:37:27
    赞同 展开评论 打赏
  • ReGooglebot提示无法访问robots.txt
    我也有相同的问题,也是用阿里云服务器的。我的robots文件是正确的和别人对比过 我的提示错误如下 请求大家帮忙啊。

    在过去 24 小时内,Googlebot 在尝试访问您的 robots.txt 时遇到了 33 个错误。为确保不会抓取该文件中列出的任何网页,我们推迟了抓取操作。您网站的 robots.txt 总体错
    我的网站 si4463无线模块
    2013-11-07 22:35:05
    赞同 展开评论 打赏
  • ReGooglebot提示无法访问robots.txt
    使用的是哪家的解析服务?
    2013-10-30 09:58:56
    赞同 展开评论 打赏
  • Kal
    ReGooglebot提示无法访问robots.txt
    正常不用理会,或许是访问的时候,你的服务器刚好挂了吧
    2013-10-03 16:00:57
    赞同 展开评论 打赏
  • 实在不行 干脆删除  robots.txt  好了 删除也没什么大问题的
    2013-10-03 09:41:00
    赞同 展开评论 打赏
  • ReGooglebot提示无法访问robots.txt
    好奇怪啊,测试了一下,同一台阿里云的云主机,一个站点Googlebot 测试抓取正常,另一个站点就是页面错误。。。。。。。
    2013-10-03 09:18:31
    赞同 展开评论 打赏
滑动查看更多
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载