scrapy框架通用爬虫、深度爬虫、分布式爬虫、分布式深度爬虫,源码解析及应用
scrapy框架是爬虫界最为强大的框架,没有之一,它的强大在于它的高可扩展性和低耦合,使使用者能够轻松的实现更改和补充。
其中内置三种爬虫主程序模板,scrapy.Spider、RedisSpider、CrawlSpider、RedisCrawlSpider(深度分布式爬虫)分别为别为一般爬虫、分布式爬虫、深度爬虫提供内部逻辑;下面将从源码和应用来学习,
scrapy.
如何利用Redis扩展数据服务、实现分片及高可用?
今天,我们来聊聊如何扩展数据服务,如何实现分片(sharding)以及高可用(high availability)。
分布式系统不存在完美的设计,处处都体现了trade off。
因此我们在开始正文前,需要确定后续的讨论原则,仍然以分布式系统设计中的CAP原则为例。
Sentinel 发布里程碑版本,添加集群流控功能
自去年10月底发布GA版本后,Sentinel在近期发布了另一个里程碑版本v1.4(最新的版本号是v1.4.1),加入了开发者关注的集群流控功能。
集群流控简介
为什么要使用集群流控呢?假设我们希望给某个用户限制调用某个 API 的总 QPS 为 50,但机器数可能很多(比如有 100 台)。
redis之(十五)redis的集群中的哨兵角色
一:redis集群的哨兵的目的是什么?。
(1)监控主redis和从redis数据库是否正常运行
(2)主redis出现故障,自动将其中一台从redis升级为主redis。将原先的主redis转变成从redis
二:redis集群+哨兵的的结构图
三单机模拟实现redis集群...