scrapy和scrapy-redis的区别?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

scrapy和scrapy-redis的区别?

珍宝珠 2019-11-11 11:15:19 342

scrapy和scrapy-redis的区别?

Python
分享到
取消 提交回答
全部回答(2)
  • 珍宝珠
    2019-11-11 12:51:24

    scrapy是一个爬虫通用框架,但不支持分布式,scrapy-redis是为了更方便的实现scrapy分布式爬虫,而提供了一些以redis为基础的组件

    0 0
  • 不语奈何
    2019-11-11 11:26:44

    scrapy 是一个通用的爬虫框架,其功能比较完善,可以帮你迅速的写一个简单爬虫,并且跑起来。scrapy-redis是为了更方便地实现scrapy分布式爬取,而提供了一些以redis为基础的组件scrapy-redis只是一些组件,而不是一个完整的框架。不能说二者的区别,应该说scrapy-redis是scrapy一个设备比较合适。

    0 0
添加回答
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题
推荐课程