一些浏览器的爬虫很恶心 不仅仅收录不了，大量的爬虫还影响网站的速度 所以可以通过指定user_agent来试试
编辑nginx的配置文件 使用location
location / {
if ($http_user_agent ~*‘bingbot/2.0|MJ12bot/v1.4.2|Spider/3.0|YoudaoBot|Tomato|Gecko/20100315’)
{
return 403;
}
}
如果匹配了上面的那些user_agent 就是浏览器标识，我们直接给它403拒绝掉
~*号组合一起匹配是 不区分大小写
