robots.txt一分钟教程-阿里云开发者社区

开发者社区> 人工智能> 正文
登录阅读全文

robots.txt一分钟教程

简介:

首先要说:

robots.txt很简单


学习robots主要搞明白下面3个问题:
1. robots是什么?
2. robots有什么作用?
3. 如何写robots.txt?

robots是什么?

kyw的回答: robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件,文件名必须是小写的"robots.txt"。

robots有什么作用?

kyw的回答:通过robots.txt可以控制SE收录内容,告诉蜘蛛哪些文件和目录可以收录,哪些不可以收录。

如何写robots.txt

用几个最常见的情况,直接举例说明:
1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。

2. 禁止所有SE收录网站的某些目录:

User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/


3. 禁止某个SE收录本站,例如禁止百度:

User-agent: Baiduspider
Disallow: /


4. 禁止所有SE收录本站:

User-agent: *
Disallow: /


5. 加入sitemap.xml路径,例如:

Sitemap: http://www.seotest.cn/sitemap.xml


参考资料:常见搜索引擎机器人Robots名字
名称 搜索引擎
Baiduspider http://www.baidu.com 
Googlebot http://www.google.com 
MSNBOT http://search.msn.com 
ia_archiver http://www.alexa.com 


一个在线写robots.txt的工具。
http://www.clickability.co.uk/robotstxt.html




本文转自黄聪博客园博客,原文链接:http://www.cnblogs.com/huangcong/archive/2010/03/28/1698990.html,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享: