最近发现服务器的内存总是保持在700多MB,太不正常了,因为我的仅仅是一个wordpress,我就看网站日志,晕,好多蜘蛛啊,百度谷歌360蜘蛛也就算了,但是来了好多国外的蜘蛛,爬行的很频繁啊,严重影响服务器的性能,我不想给网站目录加
robots.txt文件,据说好像影响百度蜘蛛爬行,所以有没有什么办法直接在linux上限制,仅限于百度,谷歌,360,搜狗蜘蛛爬行,剩下的全部屏蔽!
有大神没??、
-------------------------
-------------------------
其实有些搜索流量较小的搜索引擎,完全可以用rebots屏蔽掉。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。