User-agent: *表示允许全体搜索引擎蜘蛛访问
User-agent:Baiduspider 表示允许百度搜索引擎蜘蛛访问
Disallow: /abc 表示禁止访问收录abc.文件下的所有内容
Disallow: /abc/ 表示仅禁止访问abc文件夹下的所有文件，不限制abc.php、abc.html文件。
插件、模板、js文件这些是网站的后台程序代码，也可以屏蔽
Disallow: /wp-content/plugins/ 限制插件文件
Disallow: /wp-content/themes/ 限制模板文件
Disallow: /wp-includes/ 限制js文件
Disallow: /? 限制动态页面
Allow规则同Disallow
下面是wordpress博客robot通用设置方法：
/---------分割线--------/
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: //comment-page-
Disallow: /?replytocom=
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: //?s=\
Disallow: /?
Disallow:/tag/
Disallow: /attachment/
Disallow: /search.html
Disallow:/404.htm
Sitemap: 你的域名/sitemap.xml
/---------分割线--------/
其中sitemap.xml是你的网站的网站地图文件。
sitemap.xml的创建是为了更有利于搜索引擎的的抓取策略，从而提高工作效率。
Sitemap.html格式的网站地图主要用来方便用户的浏览使用，并不能起到 XML Sitemap 所起的作用。
提示：
良好的robort.txt协议可以指导搜索引擎抓取方向，节省“蜘蛛”抓取时间，所以无 形中提升了“蜘蛛”的工作效率，也就提高了页面被抓取的可能性了。
wordpress自定义链接伪静态设置：/%post_id%.html
