开发者社区> 问答> 正文

scrapy和scrapy-redis有什么区别?为什么选择redis数据库?

scrapy和scrapy-redis有什么区别?为什么选择redis数据库?

展开
收起
珍宝珠 2019-11-01 15:32:34 2650 0
1 条回答
写回答
取消 提交回答
  • 1) scrapy是一个Python爬虫框架,爬取效率极高,具有高度定制性,但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件,可以让scrapy支持分布式策略,Slaver端共享Master端redis数据库里的item队列、请求队列和请求指纹集合。

    2) 为什么选择redis数据库,因为redis支持主从同步,而且数据都是缓存在内存中的,所以基于redis的分布式爬虫,对请求和数据的高频读取效率非常高。

    2019-11-01 15:40:27
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
ApsaraDB for Redis——与创客同行 立即下载
微博的Redis定制之路 立即下载
云数据库Redis版的开源之路 立即下载