Robots.txt和Robots META-阿里云开发者社区

开发者社区> 人工智能> 正文
登录阅读全文

Robots.txt和Robots META

简介: Robots Text File Robots.txt robots.txt是一套指示搜索引擎(蜘蛛)如何抓取你的网页内容的一张地图,他告诉蜘蛛哪些需要抓取,哪些不要抓取(当然,这只是针对那些遵守这个协定的搜索引擎)。

Robots Text File Robots.txt

robots.txt是一套指示搜索引擎(蜘蛛)如何抓取你的网页内容的一张地图,他告诉蜘蛛哪些需要抓取,哪些不要抓取(当然,这只是针对那些遵守这个协定的搜索引擎)。robots.txt文件必须存放在网站的根目录下。

 robots.txt中包括两部分主要内容:

User-agent:*

Disallow:

User-agent代表搜索引擎,可以指定特定的搜索引擎,星号表示所有;

Disallow,如果用不带/路径表示搜索引擎可以索引整个文件夹,如果带了/则表示对文件夹下的所有内容都不进行索引;

例如:/private/表示对于private文件夹下的所有内容不进行索引,/pulic表示索引所有public下的内容;

两种robots.txt的典型用法:

一、对所有搜索引擎完全开放:

User-agent:*

Disallow:

二、对所有搜索引擎关闭:

User-agent:*

Disallow:/

Robots Meta Tag

对于不能上传Robots.txt文件的用户,我们仍可以通过Robots Meta Tag来实现对于搜索引擎的屏蔽。

<meta name="robots" content="robots-term" />

robots-term是一系列逗号分隔的字符,主要有以下几个值:noindex,nofollow,index,follow,all

下面来简单解释一下各自的含义:

noindex:搜索引擎不会为页面建立索引,但是允许页面上的链接被追踪;

nofollow:搜索引擎不会追踪页面中的链接,但是允许搜索引擎收录该页面;

index:搜索引擎将把该页面加入到搜索服务中;

follow:搜索引擎会从该页面去查找其他的页面;

all:搜索引擎会执行上面两种操作;

如果Meta标签缺失,或者robots-term没有指定明确的值,那么默认是index,follow,如果在meta中指定了all,那么其他的所有值都将被覆盖,不管all出现在什么位置

 

最后,再贴一个比较规范的robots.txt来,以供学习:

# robots.txt for http://www.SEOConsultants.com/
# Last modified: 2008-10-19T02:30:00-0700

User-agent: googlebot
Disallow: /js/
Disallow: /webservices/

User-agent: slurp
Disallow: /js/
Disallow: /webservices/

User-agent: msnbot
Disallow: /js/
Disallow: /webservices/

User-agent: teoma
Disallow: /js/
Disallow: /webservices/

User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Disallow: /

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章
最新文章
相关文章