开发者社区> 问答> 正文

scrapy和scrapy-redis的区别?

scrapy和scrapy-redis的区别?

展开
收起
珍宝珠 2019-11-11 11:15:19 2908 0
2 条回答
写回答
取消 提交回答
  • scrapy是一个爬虫通用框架,但不支持分布式,scrapy-redis是为了更方便的实现scrapy分布式爬虫,而提供了一些以redis为基础的组件

    2019-11-11 12:51:24
    赞同 展开评论 打赏
  • 精于基础,广于工具,熟于业务。

    scrapy 是一个通用的爬虫框架,其功能比较完善,可以帮你迅速的写一个简单爬虫,并且跑起来。scrapy-redis是为了更方便地实现scrapy分布式爬取,而提供了一些以redis为基础的组件scrapy-redis只是一些组件,而不是一个完整的框架。不能说二者的区别,应该说scrapy-redis是scrapy一个设备比较合适。

    2019-11-11 11:26:44
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Redis在唯品会的应用实践——架构演进与功能定制 立即下载
微博的Redis定制之路 立即下载
云数据库Redis版的开源之路 立即下载