采集频率的动态调整策略

2017-11-15 1122

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介：

采集频率的动态调整策略

1 背景

之前的采集配置都需要手动设置爬行间隔时间，希望根据不同网站板块实际情况进行填写。但实际使用时发现想填准这个值非常困难，页面本身更新频率也是变化的，所以结果就是基本都是填写成默认值。从而导致爬行频率设置形同虚设，对于很多几乎不更新的板块也配置了较高的采集频率一直在工作（默认是15分钟一次），浪费系统资源。另外早晚帖文的更新速度也明显不一样，而系统却一直按固定频率进行爬行。

2 解决思路

既然写成静态的间隔时间很不实用，那么就需要用一个动态的方式来根据实际情况灵活调整。

鉴于滑动窗口协议流量控制的思路，采集也可以采用类似方式。网页下载无非三种情况：(1)发现了新帖文并采集入库，(2)未发现新帖文则没有东西入库，(3)网页下载失败或网页改版导致没发现帖文。目前在每次任务采集完成以后都记录其采集的具体情况，比如发现多少条记录、入库多少条记录等。那么对于发现有更新就加快采集频率，没更新就减慢采集频率，实际情况页面更新频率也是比较平滑，所以这样就会让采集系统在采集过程中可以有一个调整周期，逐渐与页面实际更新频率相接近。但为了防止过快或者过慢采集，还要设置一个采集频率的边界。