搜索引擎抓取错误
搜索引擎抓取错误，是与什么有关系？是不是与云盾的设置有关系，如果是的话
防DDoS服务高级配置，参数配置怎么做
以下是错误信息：
http://www.cnhitrust.com/：Googlebot 无法访问您的网站2014年1月2日
在过去 24 小时内，Googlebot 在尝试访问您的 robots.txt 时遇到了 17 个错误。为确保不会抓取该文件中列出的任何网页，我们推迟了抓取操作。您网站的 robots.txt 总体错误率为 89.5%。
展开
收起
7
条回答
写回答
写回答
-
-
-
引用楼主hitrust于2014-01-09 11:53发表的 搜索引擎抓取错误 :
搜索引擎抓取错误，是与什么有关系？是不是与云盾的设置有关系，如果是的话 防DDoS服务高级配置，参数配置怎么做
以下是错误信息：
[code]http://www.cnhitrust.com/：Googlebot 无法访问您的网站2014年1月2日
.......
该问题比较难搞，我的在百度提示20天，没解决，要么换主机，要么在通知发出的地方禁止掉，比如删除站点验证。除此之外，目前网络中回答都是无效的，我表示遗憾，以及强烈的谴责。
具体反馈到百度官方，也没回答，但是问题依旧，具体的事件原因可以到这查看：
http://bbs.zhanzhang.baidu.com/forum.php?mod=redirect&goto=findpost&ptid=12140&pid=840102014-01-15 13:54:02赞同 展开评论 打赏 -
-
-
-
LT是个伪程序员回 楼主(hitrust) 的帖子刚刚试了一下你的网站, http://www.cnhitrust.com/robots.txt 貌似可以打开. 参考解答:
如果您可以使用浏览器访问该文件，说明您的网站可能被配置为阻止 Googlebot 访问。请检查防火墙和网站的配置，确保您没有阻止 Googlebot 的访问。
如果您的 robots.txt 是静态页面，请验证您的网络服务拥有访问该文件的相应权限。
如果您的 robots.txt 是动态生成的，请验证生成 robots.txt 的脚本配置无误并拥有运行权限。请查看您网站的日志了解脚本是否出错，如果确实出错，请尝试诊断错误根源。
最后实在不行,提交工单是万能的解决途径.^_^-------------------------
如果是防DDos高级配置的话，可以进入云盾控制台
试试修改下云盾防DDOS参数试试，不行问问专业技术人员吧。
-------------------------
回 4楼(asky8) 的帖子2014-01-09 12:45:01赞同 展开评论 打赏
滑动查看更多
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
