开发者社区> 大江小浪> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Robots.txt和Robots META

简介: Robots Text File Robots.txt robots.txt是一套指示搜索引擎(蜘蛛)如何抓取你的网页内容的一张地图,他告诉蜘蛛哪些需要抓取,哪些不要抓取(当然,这只是针对那些遵守这个协定的搜索引擎)。
+关注继续查看

Robots Text File Robots.txt

robots.txt是一套指示搜索引擎(蜘蛛)如何抓取你的网页内容的一张地图,他告诉蜘蛛哪些需要抓取,哪些不要抓取(当然,这只是针对那些遵守这个协定的搜索引擎)。robots.txt文件必须存放在网站的根目录下。

 robots.txt中包括两部分主要内容:

User-agent:*

Disallow:

User-agent代表搜索引擎,可以指定特定的搜索引擎,星号表示所有;

Disallow,如果用不带/路径表示搜索引擎可以索引整个文件夹,如果带了/则表示对文件夹下的所有内容都不进行索引;

例如:/private/表示对于private文件夹下的所有内容不进行索引,/pulic表示索引所有public下的内容;

两种robots.txt的典型用法:

一、对所有搜索引擎完全开放:

User-agent:*

Disallow:

二、对所有搜索引擎关闭:

User-agent:*

Disallow:/

Robots Meta Tag

对于不能上传Robots.txt文件的用户,我们仍可以通过Robots Meta Tag来实现对于搜索引擎的屏蔽。

<meta name="robots" content="robots-term" />

robots-term是一系列逗号分隔的字符,主要有以下几个值:noindex,nofollow,index,follow,all

下面来简单解释一下各自的含义:

noindex:搜索引擎不会为页面建立索引,但是允许页面上的链接被追踪;

nofollow:搜索引擎不会追踪页面中的链接,但是允许搜索引擎收录该页面;

index:搜索引擎将把该页面加入到搜索服务中;

follow:搜索引擎会从该页面去查找其他的页面;

all:搜索引擎会执行上面两种操作;

如果Meta标签缺失,或者robots-term没有指定明确的值,那么默认是index,follow,如果在meta中指定了all,那么其他的所有值都将被覆盖,不管all出现在什么位置

 

最后,再贴一个比较规范的robots.txt来,以供学习:

# robots.txt for http://www.SEOConsultants.com/
# Last modified: 2008-10-19T02:30:00-0700

User-agent: googlebot
Disallow: /js/
Disallow: /webservices/

User-agent: slurp
Disallow: /js/
Disallow: /webservices/

User-agent: msnbot
Disallow: /js/
Disallow: /webservices/

User-agent: teoma
Disallow: /js/
Disallow: /webservices/

User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Disallow: /

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
SE81 - Application hierarchy CSS component tree
SE81 - Application hierarchy CSS component tree
28 0
robots.txt文件示例
robots.txt文件示例
36 0
Java:MyBatis动态SQL实践
Java:MyBatis动态SQL实践
24 0
zblog robots.txt的正确写法,php版本
zblog robots.txt的正确写法,php版本
248 0
memory_target not supported on this system
oracle11g数据库在执行dbca或者调整sga后重启oracle的时候可能会出现ORA-00845 MEMORY_TARGET not supported on this system 错误。
638 0
ExtJs六(ExtJs Mvc首页展示)
要区分登录前和登录后,判断Request的IsAuthenticated方法就可以。因为要通过服务器段代码执行不同的脚本,因而要将Loder这些公共代码抽出来独立在一个Script块里,而不同的脚本在不同的代码里,最终代码如下:   Ext.
759 0
+关注
大江小浪
平心静气,破浪劈坚!
292
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载