午休前分享一下robots吧！
相信很多站长对robots都不会陌生了吧？！
但是还是有些人会写错！这真是丢尽了站长的脸了，还是会写错的，留个言，我们会对你进行“判死 缓”的，哈哈！~
不管怎么说，有时候错误往往都会出现在积极两个字上面，站长何必自己去一字一字的写robots呢？！这多浪费时间呀！直接copy别人网站上面不就完了么，对不？简单省事。。。有时候积极也未必是好事，万一写错了就闹笑话了。。。
好吧！你说我就是要自己写，不想看别人的，这是认真负责，就像小学生考试的时候，老师说了，考试不要作弊，不要互相抄袭。。。Duang！~脑袋炸了，所以当答案就在面前的时候，尽然失去了抄的能力！杯具呀。
好了，不调侃了，认真写好robots。
首先robots必须声明针对的蜘蛛
"User-Agent:"
这一行就是针对这一声明的，
"User-agent: Baiduspider"
很明显这就是针对百度蜘蛛的声明了
第二个要了解的就是“允许”和“不允许”
代码是“Allow:”和“Disallow:”，后面加上你想要“允许”和“不允许”抓取的栏目或者网址
这里在介绍一个通配符“*”，怎么用呢！看看
Disallow: /*.css
Disallow: /*.js
Disallow: /*.aspx
这里就是禁止抓取所有的css样式和js样式，还有我们的动态页
第三个你可以在最后加上自己的sitemap地址，还是比较有用的，本人测试过。
第四点呐最重要的一点，就是空格！空格！！空格！！！
很多人在自己写robots的时候都会忘记的就空格了
User-Agent:（英文空格）*
Disallow:（英文空格）/*.css
