从0开始回顾Redis---系列七

简介: 切片集群1、为什么要集群? 在实际应用Redis时,随着用户或业务规模的扩展,保存大量数据的情况通常是无法避免的。 我们可以用两种方案:1. 纵向扩展:升级单个Redis实例的资源配置,包括增加内存容量、增加磁盘容量、使用更高配置的CPU。 2. 横向扩展:横向增加当前Redis实例的个数 。 那么,这两种方式的优缺点分别是什么呢? 1. 纵向扩展:● 优点:实施起来简单、直接。● 缺点: ○ 当使用RDB对数据进行持久化时,如果数据量增加,需要的内存也会增加,主线程fork子进程时就可能会阻塞(比如刚刚的例子中的情况) ○ 纵向扩展会受到硬件和成本的限制。 2.

切片集群

1、为什么要集群?

在实际应用Redis时,随着用户或业务规模的扩展,保存大量数据的情况通常是无法避免的。  我们可以用两种方案:

  1. 纵向扩展:升级单个Redis实例的资源配置,包括增加内存容量、增加磁盘容量、使用更高配置的CPU。
  2. 横向扩展:横向增加当前Redis实例的个数 。

那么,这两种方式的优缺点分别是什么呢?

  1. 纵向扩展
  • 优点:实施起来简单、直接。
  • 缺点
  • 当使用RDB对数据进行持久化时,如果数据量增加,需要的内存也会增加,主线程fork子进程时就可能会阻塞(比如刚刚的例子中的情况)
  • 纵向扩展会受到硬件和成本的限制
  1. 横向扩展:
  • 优点: 只需要增加Redis的实例,不用担心单个实例的硬件和成本限制。在面向百万、千万级别的用户规模时,横向扩展的Redis切片集群会是一个非常好的选择。
  • 缺点: 涉及到多个实例的分布式管理问题。  

 

2、什么是切片集群?

  1. 切片集群,也叫分片集群,就是指启动多个Redis实例组成一个集群,然后按照一定的规则,把收到的数据划分成多份,每一份用一个实例来保存。
  2. 在实际应用Redis时,随着用户或业务规模的扩展,保存大量数据的情况通常是无法避免的。而切片集群,就是一个非常好的解决方案。
  3. 不过,在只使用单个实例的时候,数据存在哪儿,客户端访问哪儿,都是非常明确的,但是,切片集群不可避免地涉及到多个实例的分布式管理问题。要想把切片集群用起来,我们就需要解决两大问题
  • 数据切片后,在多个实例之间如何分布?
  • 客户端怎么确定想要访问的数据在哪个实例上?

3、 数据切片和实例的对应分布关系?

  1. 实际上,切片集群是一种保存大量数据的通用机制,这个机制可以有不同的实现方案。在Redis 3.0之前,官方并没有针对切片集群提供具体的方案。从3.0开始,官方提供了一个名为Redis Cluster的方案,用于实现切片集群。Redis Cluster方案中就规定了数据和实例的对应规则。
  2. 具体来说,Redis Cluster方案采用哈希槽(Hash Slot),来处理数据和实例之间的映射关系。在Redis Cluster方案中,一个切片集群共有16384个哈希槽,这些哈希槽类似于数据分区,每个键值对都会根据它的key,被映射到一个哈希槽中。


具体的映射过程分为两大步:

  1. 首先根据键值对的key,按照CRC16算法计算一个16 bit的值;
  2. 再用这个16bit值对16384取模,得到0~16383范围内的模数,每个模数代表一个相应编号的哈希槽。


哈希槽又是如何被映射到具体的Redis实例上的呢?

  • 我们在部署Redis Cluster方案时,可以使用cluster create命令创建集群,此时,Redis会自动把这些槽平均分布在集群实例上。例如,如果集群中有N个实例,那么,每个实例上的槽个数为16384/N个。
  • 也可以使用cluster meet命令手动建立实例间的连接,形成集群,再使用cluster addslots命令,指定每个实例上的哈希槽个数。  

示意图中的切片集群一共有3个实例,同时假设有5个哈希槽,我们首先可以通过下面的命令手动分配哈希槽:实例1保存哈希槽0和1,实例2保存哈希槽2和3,实例3保存哈希槽4。  

redis-cli -h 172.16.19.3 –p 6379 cluster addslots 0,1
redis-cli -h 172.16.19.4 –p 6379 cluster addslots 2,3
redis-cli -h 172.16.19.5 –p 6379 cluster addslots 4

在集群运行的过程中,key1和key2计算完CRC16值后,对哈希槽总个数5取模,再根据各自的模数结果,就可以被映射到对应的实例1和实例3上了。  

4、客户端如何定位数据?

在定位键值对数据时,它所处的哈希槽是可以通过计算得到的,这个计算可以在客户端发送请求时来执行。但是,要进一步定位到实例,还需要知道哈希槽分布在哪个实例上。

一般来说,客户端和集群实例建立连接后,Redis实例会把自己的哈希槽信息发给和它相连接的其它实例,来完成哈希槽分配信息的扩散。当实例之间相互连接后,每个实例就有所有哈希槽的映射关系了。

客户端收到哈希槽信息后,会把哈希槽信息缓存在本地。当客户端请求键值对时,会先计算键所对应的哈希槽,然后就可以给相应的实例发送请求了。  

相关文章
|
API 开发工具 Python
钉钉有没有获取群消息内容的接口?怎么提工单(bug反馈或技术答疑)?
钉钉有没有获取群消息内容的接口?怎么提工单(bug反馈或技术答疑)?【1月更文挑战第6天】【1月更文挑战第29篇】
1478 1
【网站部署】解析二级域名并部署网站(一)
【网站部署】解析二级域名并部署网站(一)
927 0
【网站部署】解析二级域名并部署网站(一)
|
10月前
|
安全 Shell Linux
深入剖析Sudo提权:白帽子的防御视角与审计指南
本文深入解析Linux系统中`sudo`提权的常见手法,从白帽子视角出发,剖析攻击原理并提供实用防御与审计策略,助力加固系统权限安全。
778 1
|
12月前
|
自然语言处理 搜索推荐 算法
怎么推广引流客户?
全域营销时代的客户引流技术全景图 副标题:基于AI+大数据的精准获客体系构建
|
人工智能 API 开发工具
aisuite:吴恩达发布开源Python库,一个接口调用多个大模型
吴恩达发布的开源Python库aisuite,提供了一个统一的接口来调用多个大型语言模型(LLM)服务。支持包括OpenAI、Anthropic、Azure等在内的11个模型平台,简化了多模型管理和测试的工作,促进了人工智能技术的应用和发展。
1121 1
aisuite:吴恩达发布开源Python库,一个接口调用多个大模型
|
机器学习/深度学习 人工智能 自然语言处理
NotebookLM与NotebookLlama 了解下 | AI工具
在AI技术飞速发展的今天,Google和Meta分别推出了基于大型语言模型的笔记本应用——NotebookLM和NotebookLlama。这两款产品不仅提供了强大的文档处理和编码支持,还在文档和编码领域引领了创新。NotebookLM强调个性化和隐私保护,而NotebookLlama则以开源和高度定制性著称。本文将深入解析这两款产品并进行对比分析。【10月更文挑战第16天】
1778 2
|
传感器 人工智能 物联网
数字孪生与灾害预测:提升应急响应能力
【10月更文挑战第31天】数字孪生技术通过实时监测、灾害模拟和应急响应优化,显著提升了灾害预测和应急响应能力。本文探讨了其在洪水、地震等自然灾害中的应用,展示了其在提高预警准确性、优化资源配置和提升应急响应效率方面的巨大潜力。
|
Kubernetes 负载均衡 网络协议
在K8S中,svc底层是如何实现的?
在K8S中,svc底层是如何实现的?
|
网络协议 网络安全
DNS信息收集详解
DNS信息收集详解
630 1
|
JSON API 数据库
Elasticsearch删除数据之_delete_by_query
es参考版本:elasticsearch:5.5 _delete_by_query会删除所有query语句匹配上的文档,用法如下: curl -X POST "localhost:9200/twitter/_delete_by_query" -H 'Content-Type: application/json' -d' { "query": { "match": { "name": "测试删除" } } } ' 查询必须是有效的键值对,query是键,这和Search API是同样的方式。
25008 0