开发者社区> 问答> 正文

【百度官方】建立符合搜索抓取习惯的网站

kideny 2013-09-17 10:23:22 8352


1、简单明了的网站结构
Spider抓取相当于对web这个有向图进行遍历,那么一个简单明了结构层次分明的网站肯定是它所喜欢的,并尽量保证spider的可读性。
(1)树型结构最优的结构即“首页—频道—详情页”;
(2)扁平首页到详情页的层次尽量少,既对抓取友好又可以很好的传递权重。
(3)网状保证每个页面都至少有一个文本链接指向,可以使网站尽可能全面的被抓取收录,内链建设同样对排序能够产生积极作用。
(4)导航为每个页面加一个导航方便用户知晓所在路径。
(5)子域与目录的选择相信有大批的站长对此有疑问,在我们看来,当内容较少并且内容相关度较高时建议以目录形式来实现,有利于权重的继承与收敛;当内容量较多并且与主站相关度略差时建议再以子域的形式来实现。
2、简洁美观的url规则
(1)唯一性网站中同一内容页只与唯一一个url相对应,过多形式的url将分散该页面的权重,并且目标url在系统中有被滤重的风险;
(2)简洁性动态参数尽量少,保证url尽量短;
(3)美观性使得用户及机器能够通过url即可判断出页面内容的主旨;
我们推荐如下形式的url:url尽量短且易读使得用户能够快速理解,例如使用拼音作为目录名称;同一内容在系统中只产生唯一的url与之对应,去掉无意义的参数;如果无法保证url的唯一性,尽量使不同形式的url301到目标url;防止用户输错的备用域名301至主域名。
3、其他注意事项
(1)不要忽略倒霉的robots文件,默认情况下部分系统robots是封禁搜索引擎抓取的,当网站建立后及时查看并书写合适的robots文件,网站日常维护过程中也要注意定期检查;
(2)建立网站sitemap文件、死链文件,并及时通过百度站长平台进行提交;
(3)部分电商网站存在地域跳转问题,有货无货建议统一做成一个页面,在页面中标识有无货即可,不要此地区无货即返回一个无效页面,由于spider出口的有限性将造成正常页面无法收录。
(4)合理利用站长平台提供的robots、sitemap、索引量、抓取压力、死链提交、网站改版等工具。

搜索推荐 索引
分享到
取消 提交回答
全部回答(5)
  • asky8
    2014-03-27 15:59:18
    哇 楼主 这个绝对赞
    我最近在学习摸索这个 东西呢
    我的站 至收录首页 听蛋疼的
    0 0
  • _k
    2014-03-26 14:55:32
    Re【百度官方】建立符合搜索抓取习惯的网站
    我的昵称好短。
    0 0
  • kideny
    2013-10-09 14:07:38
    Re:Re【百度官方】建立符合搜索抓取习惯的网站
    引用第1楼便衣使者于2013-09-18 15:15发表的 Re【百度官方】建立符合搜索抓取习惯的网站 :
    robots文件,最容易出现问题了哈。。。。。。。

    99%的站长都不看robots文件的。
    0 0
  • ap2728v2n
    2013-09-18 16:25:14
    Re【百度官方】建立符合搜索抓取习惯的网站
    建立自己喜欢的网站。。。
    0 0
  • 便衣使者
    2013-09-18 15:15:38
    Re【百度官方】建立符合搜索抓取习惯的网站
    robots文件,最容易出现问题了哈。。。。。。。
    0 0
添加回答
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

推荐文章
相似问题