AI 助理
备案控制台
开发者社区 数据库 文章 正文

Redis Cluster入门

2020-10-20 6713
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
Redis 开源版，标准版 2GB
推荐场景：
搭建游戏排行榜
云数据库 Tair（兼容Redis），内存型 2GB
推荐场景：
通过缓存加速数据库访问
简介： Redis Cluster入门

Redis Cluster

在这里插入图片描述

集群

我们要使用集群

  1. redis 并发量 10万 / 每秒 ，但是有些业务需要 100万的 QPS
  2. 数据量，我们普通机器 16～256g，而我们的业务需要500g

解决方案

  • 分布式 ：加机器，方便以后需求扩容

Redis Cluster

Redis Cluster是Redis的分布式解决方案，在3.0版本正式推出，有效地解决了Redis分布式方面的需求。当遇到单机内存、并发、流量等瓶颈时，可以采用Cluster架构方案达到负载均衡的目的。

​ 在Redis Cluster，它们任何两个节点之间都是相互连通的。客户端可以与任何一个节点相连接，然后就可以访问集群中的任何一个节点，对其进行存取和其它操作。

Redis Cluster提供的好处：

  • 将数据自动切分到多个节点的能力
  • 当集群中的一部分节点失效或者无法进行通讯时，仍然可以继续处理命令请求的能力，拥有自动故障转移的能力。
    Redis Cluster 和 replication + sentinel 如何选择：

如果数据量很少，主要是承载高并发高性能的场景，比如你的缓存一般就几个G，单机就够了。

  • Replication：一个master，多个slave，要几个slave跟你的要求的读吞吐量有关系，结合sentinel集群，去保证redis主从架构的高可用就行了。
  • Redis Cluster：主要是针对海量数据+高并发+高可用的场景，海量数据，如果数据量很大，建议用Redis Cluster

数据分布

数据分区

在这里插入图片描述

顺序分布和哈希分布

  1. 顺序分布

在这里插入图片描述

  1. 哈希分步

哈希分布

  • 节点取余分布 : ( hash (key) % nodes )

    • 使用特点的数据（包括redis的键或用户ID），再根据节点数量N，使用公式：hash(key)%N计算出一个0～（N-1）值，来决定数据映射到哪一个节点上。即哈希值对节点总数取余。

在这里插入图片描述

  1. 客户端分片 ：哈希 + 取余
  2. 节点伸缩 ： 数据节点关系变化，导致数据迁移
  3. 迁移数量和添加节点数量有关 ：建议翻倍扩容

  • 一致性哈希分区

    • 一致性哈希分区（Distributed Hash Table）实现思路是为系统中每个节点分配一个token，范围一般在0～232，这些token构成一个哈希环。数据读写执行节点查找操作时，先根据key计算hash值，然后顺时针找到第一个大于等于该哈希值的token节点。
      在这里插入图片描述

上图就是一个一致性hash的原理解析。

假设有n1～n4这四台机器，我们对每一台机器分配一个唯一token，每次有数据（黄色代表数据），一致性哈希算法规则每次都顺时针漂移数据，也就是图中黄色的数据都指向n3。

这个时候我们需要增加一个节点n5，在n2和n3之间，数据还是会发生漂移（会偏移到大于等于的节点），但是这个时候你是否注意到，其实只有n2～n3这部分的数据被漂移，其它的数据都是不会变的，这种方式相比节点取余最大的好处在于加入和删除节点只影响哈希环中相邻的节点，对其它节点无影响。

  1. 客户端分片： 哈希 + 顺时针 （优化取余）
  2. 节点伸缩 ： 只影响临近节点，但是还是有数据迁移
  3. 翻倍伸缩 ：保证最小迁移数据和负载均衡

  • 虚拟槽分区

    • 虚拟槽分区巧妙地使用了哈希空间，使用分散度良好的哈希函数把所有数据映射到一个固定范围的整数集合中，整数定义为槽（slot）。这个范围一般远远大于节点数，比如Redis Cluster槽范围是0～16383（也就是说有16383个槽）。槽是集群内数据管理和迁移的基本单位。采用大范围槽的主要目的是为了方便数据拆分和集群扩展。每个节点会负责一定数量的槽。
      在这里插入图片描述
  1. 预设虚拟槽映射一个数据子集，一半节点数大
  2. 良好的哈希函数 ： 例如CRC16
  3. 服务端管理节点、槽、数据：例如 Redis Cluster
  • 对比
分布方式 特点 典型产品
哈希分布 数据分散度高 ， 键值分布业务无关 ，无法顺序访问 ，支持批量操作 一致性哈希Memcache ，Redis Cluster , 其他缓存产品
顺序分布 数据分散度易倾斜 ， 键值业务相关 ，可顺序访问 ， 支持批量操作 BigTable ，HBase

搭建集群

一、基本架构

  • 节点
    在这里插入图片描述
  • meet
  • 指配槽

在这里插入图片描述

  • Redis Cluster特性

    • 复制
    • 高可用
    • 分片

二、两种安装

  • 原生命令安装
  1. 配置开启节点 redis.conf
port ${port}  //端口
daemonize yes
dir "/opt/redis/redis/data/"
dbfilename "dump-${port}.rdb"  //rdb文件
logfile "${port}.log"  //log 文件
cluster-enabled yes
cluster-config-file nodes-${port}.conf  //给 cluster添加自己的配置文件

开启节点

redis-server redis-7000.conf
redis-server redis-7001.conf
redis-server redis-7002.conf
redis-server redis-7003.conf
redis-server redis-7004.conf
redis-server redis-7005.conf
redis-server redis-7006.conf
  1. meet

cluster meet ip port // 彼此之间相互感知

redis-cli -h 1270.0.1 -p 7000 cluster meet 127.0.0.1 7001
redis-cli -h 1270.0.1 -p 7000 cluster meet 127.0.0.1 7002
redis-cli -h 1270.0.1 -p 7000 cluster meet 127.0.0.1 7003
redis-cli -h 1270.0.1 -p 7000 cluster meet 127.0.0.1 7004
redis-cli -h 1270.0.1 -p 7000 cluster meet 127.0.0.1 7005
redis-cli -h 1270.0.1 -p 7000 cluster meet 127.0.0.1 7006
  1. 指配槽

cluster addslots slot[slot .....]

redis-cli -h 127.0.0.1 -p 7000 cluster addslots {0...5461}
redis-cli -h 127.0.0.1 -p 7001 cluster addslots {5462...10922}
redis-cli -h 127.0.0.1 -p 7002 cluster addslots {10923...16383}
  1. 主从

cluster replicate node-id

redis-cli -h 127.0.0.1 -p 7003 cluster replicate ${node-id-7000}

redis-cli -h 127.0.0.1 -p 7004 cluster replicate ${node-id-7001}

redis-cli -h 127.0.0.1 -p 7005 cluster replicate ${node-id-7002}
  1. 具体安装

创建文件
在这里插入图片描述
端口以及文件依次后排 7001 ，7002

port 7000
daemonize yes
dir "/opt/software/redis-4.0.9/cluster-test/data"
logfile "/opt/software/redis-4.0.9/cluster-test/logs/7000.log"
#dbfilename不能配置为路径
dbfilename "dump-7000.rdb"
cluster-enabled yes
cluster-config-file nodes-7000.conf
#是否需要每个节点都可用，集群才算可用,关闭
cluster-require-full-coverage no

一次通过配置文件启动集群，我还在conf目录下，所以这样启动

在这里插入图片描述

有不懂的推荐Redis Cluster 安装文章 https://blog.csdn.net/fst438060684/article/details/80712433

  • 官方工具安装

Ruby 环境准备

  1. 下载ruby
wget https://cache.ruby-lang.org/pub/ruby/2.3/ruby-2.3.1.tar.gz
  1. 安装 ruby
tar -xvf ruby-2.3.1.tar.gz
./configure -prefix=/usr/local/ruby
make
make install
cd /usr/loacl/ruby
cp bin/ruby /usr/local/bin
cp bin/gem /usr/local/bin
  1. 安装rubygem redis
wget http://rubygems.ory/downloads/redis-3.3.0.gem

gem install -| redis-3.3.0.gem

gem list --check redis gem

启动所有节点

redis-server redis-7000.conf
redis-server redis-7001.conf
redis-server redis-7002.conf
redis-server redis-7003.conf

redis-trib.rb支持的操作


复制代码

# redis-trib.rb help
Usage: redis-trib <command> <options> <arguments ...>

  create          host1:port1 ... hostN:portN
                  --replicas <arg>
  check           host:port
  info            host:port
  fix             host:port
                  --timeout <arg>
  reshard         host:port
                  --from <arg>
                  --to <arg>
                  --slots <arg>
                  --yes
                  --timeout <arg>
                  --pipeline <arg>
  rebalance       host:port
                  --weight <arg>
                  --auto-weights
                  --use-empty-masters
                  --timeout <arg>
                  --simulate
                  --pipeline <arg>
                  --threshold <arg>
  add-node        new_host:new_port existing_host:existing_port
                  --slave
                  --master-id <arg>
  del-node        host:port node_id
  set-timeout     host:port milliseconds
  call            host:port command arg arg .. arg
  import          host:port
                  --from <arg>
                  --copy
                  --replace
  help            (show this help)

For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node in the cluster.

支持的操作如下：

  1. create：创建集群
  2. check：检查集群
  3. info：查看集群信息
  4. fix：修复集群
  5. reshard：在线迁移slot
  6. rebalance：平衡集群节点slot数量
  7. add-node：添加新节点
  8. del-node：删除节点
  9. set-timeout：设置节点的超时时间
  10. call：在集群所有节点上执行命令
  11. import：将外部redis数据导入集群

创建集群

./redis-trib.rb create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7000

--replicas参数指定集群中每个主节点配备几个从节点，这里设置为1。

[root@localhost redis]# ./src/redis-trib.rb create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7000
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
127.0.0.1:7001
127.0.0.1:7002
127.0.0.1:7003
Adding replica 127.0.0.1:7004 to 127.0.0.1:7001
Adding replica 127.0.0.1:7005 to 127.0.0.1:7002
Adding replica 127.0.0.1:7000 to 127.0.0.1:7003
M: f4ee0a501f9aaf11351787a46ffb4659d45b7bd7 127.0.0.1:7001
   slots:0-5460 (5461 slots) master
M: 671a0524a616da8b2f50f3d11a74aaf563578e41 127.0.0.1:7002
   slots:5461-10922 (5462 slots) master
M: 18948dab5b07e3726afd1b6a42d5bf6e2f411ba1 127.0.0.1:7003
   slots:10923-16383 (5461 slots) master
S: 34e322ca50a2842e9f3664442cb11c897defba06 127.0.0.1:7004
   replicates f4ee0a501f9aaf11351787a46ffb4659d45b7bd7
S: 62a00566233fbff4467c4031345b1db13cf12b46 127.0.0.1:7005
   replicates 671a0524a616da8b2f50f3d11a74aaf563578e41
S: 2cb649ad3584370c960e2036fb01db834a546114 127.0.0.1:7000
   replicates 18948dab5b07e3726afd1b6a42d5bf6e2f411ba1
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join...
>>> Performing Cluster Check (using node 127.0.0.1:7001)
M: f4ee0a501f9aaf11351787a46ffb4659d45b7bd7 127.0.0.1:7001
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
M: 671a0524a616da8b2f50f3d11a74aaf563578e41 127.0.0.1:7002
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
S: 2cb649ad3584370c960e2036fb01db834a546114 127.0.0.1:7000
   slots: (0 slots) slave
   replicates 18948dab5b07e3726afd1b6a42d5bf6e2f411ba1
S: 34e322ca50a2842e9f3664442cb11c897defba06 127.0.0.1:7004
   slots: (0 slots) slave
   replicates f4ee0a501f9aaf11351787a46ffb4659d45b7bd7
M: 18948dab5b07e3726afd1b6a42d5bf6e2f411ba1 127.0.0.1:7003
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
S: 62a00566233fbff4467c4031345b1db13cf12b46 127.0.0.1:7005
   slots: (0 slots) slave
   replicates 671a0524a616da8b2f50f3d11a74aaf563578e41
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

上面显示创建成功，有3个主节点，3个从节点，每个节点都是成功连接状态。

个人博客：http://blog.yanxiaolong.cn/

文章标签：
云数据库 Tair（兼容 Redis）
Ruby
NoSQL
负载均衡
Sentinel
Redis
Memcache
算法
缓存
分布式数据库
数据管理
关键词：
云数据库 Tair（兼容 Redis）入门
云数据库 Tair（兼容 Redis）Cluster
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务，基于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 产品详情：https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&amp;RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
浪人与酒
目录
相关文章
nanshaws
|
1月前
|
缓存 NoSQL Java
springboot的缓存和redis缓存，入门级别教程
本文介绍了Spring Boot中的缓存机制，包括使用默认的JVM缓存和集成Redis缓存，以及如何配置和使用缓存来提高应用程序性能。
nanshaws
96 1
springboot的缓存和redis缓存，入门级别教程
小陈运维
|
5月前
|
存储 运维 NoSQL
Redis Cluster集群模式部署
Redis Cluster集群模式部署
小陈运维
121 4
何雨晨
|
1月前
|
存储 消息中间件 NoSQL
Redis 入门 - C#.NET Core客户端库六种选择
Redis 入门 - C#.NET Core客户端库六种选择
何雨晨
59 8
热爱技术的小郑
|
3月前
|
SQL 存储 NoSQL
Redis6入门到实战------ 一、NoSQL数据库简介
这篇文章是关于NoSQL数据库的简介，讨论了技术发展、NoSQL数据库的概念、适用场景、不适用场景，以及常见的非关系型数据库。文章还提到了Web1.0到Web2.0时代的技术演进，以及解决CPU、内存和IO压力的方法，并对比了行式存储和列式存储数据库的特点。
热爱技术的小郑
71 16
Redis6入门到实战------ 一、NoSQL数据库简介
热爱技术的小郑
|
3月前
|
NoSQL 算法 安全
Redis6入门到实战------ 四、Redis配置文件介绍
这篇文章详细介绍了Redis配置文件中的各种设置，包括单位定义、包含配置、网络配置、守护进程设置、日志记录、密码安全、客户端连接限制以及内存使用策略等。
热爱技术的小郑
78 9
Redis6入门到实战------ 四、Redis配置文件介绍
热爱技术的小郑
|
3月前
|
NoSQL Redis 数据安全/隐私保护
Redis6入门到实战------ 二、Redis安装
这篇文章详细介绍了Redis 6的安装过程，包括下载、解压、编译、安装、配置以及启动Redis服务器的步骤。还涵盖了如何设置Redis以在后台运行，如何为Redis设置密码保护，以及如何配置Redis服务以实现开机自启动。
热爱技术的小郑
123 9
Redis6入门到实战------ 二、Redis安装
热爱技术的小郑
|
3月前
|
NoSQL Java Redis
Redis6入门到实战------思维导图+章节目录
这篇文章提供了Redis 6从入门到实战的全面学习资料,包括思维导图和各章节目录,涵盖了NoSQL数据库、Redis安装配置、数据类型、事务、持久化、主从复制、集群等核心知识点。
热爱技术的小郑
45 3
Redis6入门到实战------思维导图+章节目录
热爱技术的小郑
|
3月前
|
NoSQL 安全 Java
Redis6入门到实战------ 三、常用五大数据类型（字符串 String）
这篇文章深入探讨了Redis中的String数据类型，包括键操作的命令、String类型的命令使用，以及String在Redis中的内部数据结构实现。
热爱技术的小郑
56 2
Redis6入门到实战------ 三、常用五大数据类型（字符串 String）
热爱技术的小郑
|
3月前
|
NoSQL 关系型数据库 Redis
Redis6入门到实战------ 九、10. Redis_事务_锁机制_秒杀
这篇文章深入探讨了Redis事务的概念、命令使用、错误处理机制以及乐观锁和悲观锁的应用，并通过WATCH/UNWATCH命令展示了事务中的锁机制。
热爱技术的小郑
57 1
Redis6入门到实战------ 九、10. Redis_事务_锁机制_秒杀
热爱技术的小郑
|
3月前
|
NoSQL Java Redis
Redis6入门到实战------ 八、Redis与Spring Boot整合
这篇文章详细介绍了如何在Spring Boot项目中整合Redis，包括在`pom.xml`中添加依赖、配置`application.properties`文件、创建配置类以及编写测试类来验证Redis的连接和基本操作。
热爱技术的小郑
170 1
Redis6入门到实战------ 八、Redis与Spring Boot整合

热门文章

最新文章

  • 1
    Redis从入门到精通之底层数据类型Stream详解和使用示例
  • 2
    php-redis扩展模块安装记录
  • 3
    Oracle查询结果集无法被redis缓存序列化问题
  • 4
    第九章：Redis replication 主从复制
  • 5
    fpm 打包redis3.0.7
  • 6
    redis 配置文件翻译
  • 7
    【Docker系列】docker-compose安装redis
  • 8
    Redis入门实战（四）Redis 配置文件redis.conf详解
  • 9
    使用 Redis 实现一个轻量级的搜索引擎，牛逼！
  • 10
    【Redis】redis安装与客户端redis-cli的使用(批量操作)
  • 1
    【redis源码学习】持久化机制，java程序员面试算法宝典pdf
    77
  • 2
    实战：第十一篇：StringRedisTemplate获取redis信息，面试官突击一问
    50
  • 3
    Redis为什么会这么快？Redis到底有多快？【大厂经典面试题】
    444
  • 4
    利用Redis构建高性能的缓存系统
    99
  • 5
    Linux安装Redis（详细教程）
    317
  • 6
    Redis实现数据持久性主要依赖两种机制
    41
  • 7
    Redis中的常用命令非常丰富，涵盖了各种数据类型的基本操作以及服务器管理和维护的相关指令
    58
  • 8
    Redis的主要内存淘汰策略
    80
  • 9
    Redis的几种主要集群方案
    303
  • 10
    保证Redis的高可用性是一个涉及多个层面的任务，主要包括数据持久化、复制与故障转移、集群化部署等方面
    234

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • Redis入门实战演练
  • 云数据库 Redis 版使用教程
  • Redis数据库入门

    • 相关电子书

    更多
  • Redis在唯品会的应用实践——架构演进与功能定制
  • 微博的Redis定制之路
  • 云数据库Redis版的开源之路

    • 相关实验场景

    更多
  • 如何通过数据库Redis内网访问
  • Tair for Redis数据闪回：任意时间点数据恢复
  • 如何开通Redis的专属集群
  • 基于Redis实现在线游戏积分排行榜
    • 下一篇
    阿里云OSS设置跨域访问