搜索引擎抓取错误

搜索引擎抓取错误，是与什么有关系？是不是与云盾的设置有关系，如果是的话 防DDoS服务高级配置，参数配置怎么做

以下是错误信息：
http://www.cnhitrust.com/：Googlebot 无法访问您的网站2014年1月2日在过去 24 小时内，Googlebot 在尝试访问您的 robots.txt 时遇到了 17 个错误。为确保不会抓取该文件中列出的任何网页，我们推迟了抓取操作。您网站的 robots.txt 总体错误率为 89.5%。

展开

收起

hitrust 2014-01-09 11:53:15 7452 0

7 条回答

写回答

取消提交回答

killcode

Re搜索引擎抓取错误
我也是这样，好烦。。。。。。。。。。！！！！！！！！！

2015-07-12 17:59:56

赞同展开评论打赏
零云科技

爱好建站

我的也是这样我不想管了不抓取算了

2014-01-17 00:08:43

赞同展开评论打赏
ljq130

引用楼主hitrust于2014-01-09 11:53发表的搜索引擎抓取错误 :
搜索引擎抓取错误，是与什么有关系？是不是与云盾的设置有关系，如果是的话 防DDoS服务高级配置，参数配置怎么做

以下是错误信息：
[code]http://www.cnhitrust.com/：Googlebot 无法访问您的网站2014年1月2日
.......

该问题比较难搞，我的在百度提示20天，没解决，要么换主机，要么在通知发出的地方禁止掉，比如删除站点验证。除此之外，目前网络中回答都是无效的，我表示遗憾，以及强烈的谴责。
具体反馈到百度官方，也没回答，但是问题依旧，具体的事件原因可以到这查看：
http://bbs.zhanzhang.baidu.com/forum.php?mod=redirect&goto=findpost&ptid=12140&pid=84010

2014-01-15 13:54:02

赞同展开评论打赏
mayle

这问题一直都有，具体产生原因其实没谁能说清楚，呵呵

2014-01-13 19:08:04

赞同展开评论打赏
asky8

回 3楼(千鸟) 的帖子
哇亲原来是个高手~

2014-01-10 20:35:13

赞同展开评论打赏
hitrust

Re搜索引擎抓取错误
不是说一直抓取不了，就是一段时间就会出现这样的问题。

2014-01-09 18:09:25

赞同展开评论打赏
千鸟

LT是个伪程序员

回楼主(hitrust) 的帖子
刚刚试了一下你的网站, http://www.cnhitrust.com/robots.txt 貌似可以打开. 参考解答:
如果您可以使用浏览器访问该文件，说明您的网站可能被配置为阻止 Googlebot 访问。请检查防火墙和网站的配置，确保您没有阻止 Googlebot 的访问。
如果您的 robots.txt 是静态页面，请验证您的网络服务拥有访问该文件的相应权限。
如果您的 robots.txt 是动态生成的，请验证生成 robots.txt 的脚本配置无误并拥有运行权限。请查看您网站的日志了解脚本是否出错，如果确实出错，请尝试诊断错误根源。

最后实在不行,提交工单是万能的解决途径.^_^
-------------------------

如果是防DDos高级配置的话，可以进入云盾控制台

试试修改下云盾防DDOS参数试试，不行问问专业技术人员吧。

-------------------------

回 4楼(asky8) 的帖子

2014-01-09 12:45:01

赞同展开评论打赏