爬虫怎么保存已经访问过的url
话说同志们在爬取数据的时候如何保存已经访问过的url和队列？对于爬取过的url，我使用redis的set来保存，访问队列是用list来保存，数据量是直线上升，内存不大，也只有4g，扛不住。不知道以前的方法是什么？
展开
收起
2
条回答
写回答
写回答
-
-
队列和判断是否访问我都是用的MySQL，考虑到Redis的持久化特性不是很好，而且当时也没想过用Redis或者其他的，暂时现在用MySQL也没什么问题。
具体的做法就是对url的md5值做唯一索引，每次查询都很快，表结构也简单。
队列的话使用的是查表的形式，SQL如下（具体status是表示一些自己定义的状态）：
select * from t_down_task where status = 0 order by id limit 1;
定期删除已经执行完的任务2019-07-17 18:56:00赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
