开发者社区> 老朱教授> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

robots.txt一分钟教程

简介:
+关注继续查看

首先要说:

robots.txt很简单


学习robots主要搞明白下面3个问题:
1. robots是什么?
2. robots有什么作用?
3. 如何写robots.txt?

robots是什么?

kyw的回答: robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件,文件名必须是小写的"robots.txt"。

robots有什么作用?

kyw的回答:通过robots.txt可以控制SE收录内容,告诉蜘蛛哪些文件和目录可以收录,哪些不可以收录。

如何写robots.txt

用几个最常见的情况,直接举例说明:
1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。

2. 禁止所有SE收录网站的某些目录:

User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/


3. 禁止某个SE收录本站,例如禁止百度:

User-agent: Baiduspider
Disallow: /


4. 禁止所有SE收录本站:

User-agent: *
Disallow: /


5. 加入sitemap.xml路径,例如:

Sitemap: http://www.seotest.cn/sitemap.xml


参考资料:常见搜索引擎机器人Robots名字
名称 搜索引擎
Baiduspider http://www.baidu.com 
Googlebot http://www.google.com 
MSNBOT http://search.msn.com 
ia_archiver http://www.alexa.com 


一个在线写robots.txt的工具。
http://www.clickability.co.uk/robotstxt.html




本文转自黄聪博客园博客,原文链接:http://www.cnblogs.com/huangcong/archive/2010/03/28/1698990.html,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
zblog robots.txt的正确写法,php版本
zblog robots.txt的正确写法,php版本
248 0
爬虫的另一种思路 -- 从 robots.txt 中找到抓取入口
近两年出现曾报道一些关于非法抓取数据的程序员被告上法庭的事例, 而非法抓取的一个典型做法就是不遵守网站的 robots.txt 规则进行爬取. 早年就曾有搜索引擎不遵守淘宝的 robots.txt 还去收录网站的信息被告的案例.
1771 0
搜索引擎篇:网站根目录 “robots.txt” 文件写法
robots.txt写法。添加sitemap链接。 搜索引擎会优先读取sitemap.xml文件,如果没有就逐个抓取URL。
1352 0
Web管理员注意:Robots.txt可透露有价值的信息给黑客
本文讲的是Web管理员注意:Robots.txt可透露有价值的信息给黑客,Web系统管理员需要注意了,robots.txt文件可以告诉攻击者目标的有价值信息,因为这些txt文件指向拥有者试图保护的目录。
1529 0
robots
引用:http://cn.idao114.com/zhinan/robots-txt-usage 什么是robots.txt?Robots.txt的官方标准写法   什么是robots.txt呢?Wordpress的robots.txt文件如何来写? 其实它只是一个放在网站根目录内,并且记录了一些些文字的文本文件罢了。
845 0
robots协议
引用:http://blog.csdn.net/wallacer/article/details/654289 禁止搜索引擎收录的方法(robots.txt) 一、什么是robots.txt文件? 搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。
787 0
robots协议标准
    前两天刚知道用爬虫抓取page有个协议的问题,尤其是对于open source的爬虫,刚看到一篇blog,写的就是如此,难怪之前看google的robots也和另外一个U.S.的网站相同,感情是大家都商量好了, 可能这方面中国的一些站点这种意识要稍微淡一点。
841 0
+关注
3545
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载