使用nginx限制百度蜘蛛的频繁抓取

简介:

百度蜘蛛抓取量骤增,导致服务器负载很高。最终用nginx的ngx_http_limit_req_module模块限制了百度蜘蛛的抓取频率。每分钟允许百度蜘蛛抓取200次,多余的抓取请求返回503。
nginx的配置:
#全局配置
limit_req_zone $anti_spider zone=anti_spider:60m rate=200r/m;
#某个server中
limit_req zone=anti_spider burst=5 nodelay;
if ($http_user_agent ~* "baiduspider") {
set $anti_spider $http_user_agent;
}

参数说明:
指令limit_req_zone 中的rate=200r/m 表示每分钟只能处理200个请求。
指令limit_req 中的burst=5 表示最大并发为5。即同一时间只能同时处理5个请求。
指令limit_req 中的 nodelay 表示当已经达到burst值时,再来新请求时,直接返回503
IF部分用于判断是否是百度蜘蛛的user agent。如果是,就对变量$anti_spider赋值。这样就做到了只对百度蜘蛛进行限制了。
详细的参数说明,可以查看官方文档。
http://nginx.org/en/docs/http/ngx_http_limit_req_module.html#limit_req_zone

这个模块对请求的限制采用了漏桶算法。
漏桶算法详见 http://baike.baidu.com/view/2054741.htm
相关代码请查看nginx源码文件 src/http/modules/ngx_http_limit_req_module.c
代码的核心部分是ngx_http_limit_req_lookup 方法。

目录
相关文章
|
数据采集
百度蜘蛛ip段大全分析爬虫式
百度蜘蛛ip段大全分析爬虫式:https://www.20200824.com
341 0
www.20200824.com百度蜘蛛爬行规则和收录要素
百度蜘蛛爬行规则和收录要素:https://www.20200824.com
110 0
www.20200824.com百度蜘蛛爬行规则和收录要素
|
搜索推荐
如何吸引百度蜘蛛加百度站长
如何吸引百度蜘蛛加百度站长:https://www.20200824.com/292.html
179 0
如何吸引百度蜘蛛加百度站长
|
数据采集 Web App开发 前端开发
如何通过 User-Agent 识别百度蜘蛛
如何通过 User-Agent 识别百度蜘蛛
320 0
如何通过 User-Agent 识别百度蜘蛛
|
索引 SEO 监控
百度蜘蛛抓取和排名有关系吗?
百度蜘蛛抓取预算优化让百度排名更高 影响百度排名的因素有很多 – 外部链接,关键字使用,网站速度等等。但是,当您开始优化网站时,您需要记住的是,为了支付您的网站所需的所有优化工作,需要对其进行抓取和编制索引。
1034 0
|
数据采集
解决百度蜘蛛无法爬取Hexo博客的问题
写在前面   先上两张图对比下: Google-site:blog.mariojd.cn Baidu-site:blog.mariojd.cn   由于GitHub Pages是拒绝百度爬虫爬取的,包括用Hexo或Jekyll搭建的博客,因此你的站点再怎么SEO优化,这在国内也是收录和搜索不到的。
1782 0
该怎么吸引百度蜘蛛抓取,来提升我们的收录
     百度对于收录页面是通过网站入口URL的联通成一个网状,然后百度的抓取功能是被称为“百度蜘蛛”的工具在进行收集,那么这个百度蜘蛛的收集器就是网站页面收录的关键。怎么才能吸引百度蜘蛛抓取,来提升我们的收录呢   现在我国做网站优化常常出现两个极端,一个是很多站长非常注重网页设计,内容建设,存在着重视用户却忽视百度蜘蛛的现象,认为只要自己的网站质量好,那么就会酒香不怕巷子深。
2265 0
|
数据采集 定位技术 数据库