centos7搭建redis集群

简介: Redis是一个使用ANSI C编写的开源、支持网络、基于内存、可选持久性的键值对存储数据库。从2015年6月开始,Redis的开发由Redis Labs赞助,而2013年5月至2015年6月期间,其开发由Pivotal赞助。在2013年5月之前,其开发由VMware赞助。

搭建环境
系统:centos7.4

服务器金山云

安装ruby环境
[root@jsy-bj-test00 ~]# yum install -y ruby rubygems
复制6份redis服务
[work@jsy-bj-test00 ~]$ cp -rp redis redis1
[work@jsy-bj-test00 ~]$ cp -rp redis redis2
[work@jsy-bj-test00 ~]$ cp -rp redis redis3
redis配置文件修改

六个节点需做如下更改

[work@jsy-bj-test00 ~]$ vim redis1/etc/redis.conf
[work@jsy-bj-test00 ~]$ sed -i 's/port 6379/port 6380/g' redis5/etc/redis.conf #修改端口 port 6380

打开注释,开启集群模式

cluster-enabled yes

集群的配置文件

cluster-config-file nodes-6380.conf
[work@jsy-bj-test00 ~]$ sed -i 's/cluster-config-file nodes-6379.conf/cluster-config-file nodes-6380.conf/g' redis5/etc/redis.conf

pidfile文件

pidfile /var/run/redis_6380.pid
[work@jsy-bj-test00 ~]$ sed -i 's/pidfile /var/run/redis_6380.pid/pidfile /var/run/redis_6380.pid/g' redis5/etc/redis.conf

日志文件

logfile "/home/work/logs/redis/6380.log"
[work@jsy-bj-test00 ~]$ sed -i 's/logfile "/home/work/logs/redis/6379.log"/logfile "/home/work/logs/redis/6380.log"/g' redis5/etc/redis.conf

rdb持久化文件

dbfilename dump6380.rdb
[work@jsy-bj-test00 ~]$ sed -i 's/dbfilename dump6379.rdb/dbfilename dump6380.rdb/g' redis5/etc/redis.conf

请求超时,单位毫秒

cluster-node-timeout 5000

开启aof持久化方式

appendonly yes

配置持久化文件

appendfilename "appendonly6379.aof"
[work@jsy-bj-test00 ~]$ sed -i 's/appendfilename "appendonly6379.aof"/appendfilename "appendonly6383.aof"/g' redis5/etc/redis.conf
编写集群启动脚本和停止脚本
启动脚本start_all.sh

/home/work/redis/bin/redis-server /home/work/redis/etc/redis.conf &
/home/work/redis/bin/redis-server /home/work/redis/etc/redis6380.conf &
/home/work/redis/bin/redis-server /home/work/redis/etc/redis6381.conf &
/home/work/redis/bin/redis-server /home/work/redis/etc/redis6382.conf &
/home/work/redis/bin/redis-server /home/work/redis/etc/redis6383.conf &
/home/work/redis/bin/redis-server /home/work/redis/etc/redis6384.conf &
关闭脚本stop_all.sh

/home/work/redis/bin/redis-cli -p 6379 -a test shutdown
/home/work/redis/bin/redis-cli -p 6380 -a test shutdown
/home/work/redis/bin/redis-cli -p 6381 -a test shutdown
/home/work/redis/bin/redis-cli -p 6382 -a test shutdown
/home/work/redis/bin/redis-cli -p 6383 -a test shutdown
/home/work/redis/bin/redis-cli -p 6384 -a test shutdown
执行创建集群命令
有如下报错

[work@jsy-bj-test00 src]$ ./redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384
/usr/share/rubygems/rubygems/core_ext/kernel_require.rb:55:in `require': cannot load such file -- redis (LoadError)
from /usr/share/rubygems/rubygems/core_ext/kernel_require.rb:55:in `require'
from ./redis-trib.rb:25:in `
'
原因:安装redis接口报错ruby版本过低
[root@jsy-bj-test00 ~]# gem install redis

Fetching: redis-4.1.3.gem (100%)
ERROR: Error installing redis:
redis requires Ruby version >= 2.3.0.

解决办法到官网下载最新稳定版源代码 http://www.ruby-lang.org/en/downloads/ 进行编译安装

[work@jsy-bj-test00 soft]$ tar zxvf ruby-2.7.0.tar.gz
[work@jsy-bj-test00 soft]$ cd ruby-2.7.0
[work@jsy-bj-test00 ruby-2.7.0]$ ./configure --prefix=/home/work/ruby && make && make install
安装redis接口

[work@jsy-bj-test00 bin]$ gem install redis
再次执行创建集群命令

[work@jsy-bj-test00 src]$ ./redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384

Creating cluster
Performing hash slots allocation on 6 nodes...
......
Nodes configuration updated
Assign a different config epoch to each node
Sending CLUSTER MEET messages to join the cluster

Waiting for the cluster to join...

Performing Cluster Check (using node 127.0.0.1:6379)

......
[OK] All nodes agree about slots configuration.

Check for open slots...
Check slots coverage...

[OK] All 16384 slots covered.

创建成功,查看集群状态

[work@jsy-bj-test00 ~]$ ./redis/bin/redis-cli -h 127.0.0.1 -p 6379 -c
127.0.0.1:6379> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_sent:627
cluster_stats_messages_received:627
查看集群节点信息

127.0.0.1:6379> cluster nodes
565246bf31d8e05e464db7455521b1a9f165a9cd 127.0.0.1:6380 master - 0 1578447776230 2 connected 5461-10922
1b99b2a1e4b530501476ab48422c75f30423fd19 127.0.0.1:6383 slave 565246bf31d8e05e464db7455521b1a9f165a9cd 0 1578447778233 5 connected
735ad5778458059316794b9378d4b81aaff20322 127.0.0.1:6379 myself,master - 0 0 1 connected 0-5460
757c2c11ecebfc607aa10a6877e348d0e2da484f 127.0.0.1:6381 master - 0 1578447777732 3 connected 10923-16383
f22efc2bcfcd11cee6487ebc9c75de3b59f5e1d0 127.0.0.1:6382 slave 735ad5778458059316794b9378d4b81aaff20322 0 1578447776230 4 connected
b8bba94b9647caa8600363144fd7108082e45f56 127.0.0.1:6384 slave 757c2c11ecebfc607aa10a6877e348d0e2da484f 0 1578447777232 6 connected

这是很重要的命令,我们需要关心的信息有:

第一个参数:节点ID

第二个参数:IP:PORT@TCP 这里一个坑,jedis-2.9.0之前的版本解析@出错

第三个参数:标志(Master,Slave,Myself,Fail...)

第四个参数:如果是从机则是主机的节点ID

最后两个参数:连接的状态和槽的位置。

集群管理相关命令

集群增加节点,先复制两个配置文件,并修改配置文件内容

[work@jsy-bj-test00 etc]$ cp -p redis.conf redis6385.conf
[work@jsy-bj-test00 etc]$ cp -p redis.conf redis6386.conf
[work@jsy-bj-test00 etc]$ sed -i 's/6379/6385/g' redis6385.conf
[work@jsy-bj-test00 etc]$ sed -i 's/6379/6386/g' redis6386.conf
启动6385节点

[work@jsy-bj-test00 bin]$ ./redis-server /home/work/redis/etc/redis6385.conf &
将集群管理工具软连到redis的bin下

[work@jsy-bj-test00 bin]$ ln -s /home/work/soft/redis-3.2.11/src/redis-trib.rb /home/work/redis/bin/redis-trib.rb
将新节点加入集群master

[work@jsy-bj-test00 bin]$ ./redis-trib.rb add-node 127.0.0.1:6385 127.0.0.1:6379

Adding node 127.0.0.1:6385 to cluster 127.0.0.1:6379
Performing Cluster Check (using node 127.0.0.1:6379)

......
[OK] All nodes agree about slots configuration.

Check for open slots...
Check slots coverage...

[OK] All 16384 slots covered.

Send CLUSTER MEET to node 127.0.0.1:6385 to make it join the cluster.

[OK] New node added correctly.
查看集群状态,未分配槽位

[work@jsy-bj-test00 bin]$ ./redis-cli -h 127.0.0.1 -p 6379 -c cluster nodes
d00d05f601df0b69df0c2cc532b636d2c83347be 127.0.0.1:6385 master - 0 1578450280191 0 connected
给6385节点分配槽位

[work@jsy-bj-test00 bin]$ ./redis-trib.rb reshard 127.0.0.1:6379

Performing Cluster Check (using node 127.0.0.1:6379)

......
[OK] All nodes agree about slots configuration.

Check for open slots...
Check slots coverage...

[OK] All 16384 slots covered.
How many slots do you want to move (from 1 to 16384)? 500
What is the receiving node ID? d00d05f601df0b69df0c2cc532b636d2c83347be
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node #1:all
Do you want to proceed with the proposed reshard plan (yes/no)? yes

第一个参数:需要移动槽的个数,

第二个参数:接受槽的节点ID,

第三个参数:输入"all"表示从所有原节点中获取槽,

第四个参数:输入"yes"开始移动槽到目标结点id

查看6385节点信息,已经分配槽位

[work@jsy-bj-test00 bin]$ ./redis-cli -h 127.0.0.1 -p 6379 -c cluster nodes
d00d05f601df0b69df0c2cc532b636d2c83347be 127.0.0.1:6385 master - 0 1578452422167 7 connected 0-165 5461-5627 10923-11088

添加从节点,启动6386节点并加入集群

[work@jsy-bj-test00 bin]$ ./redis-server /home/work/redis/etc/redis6386.conf &
[work@jsy-bj-test00 bin]$ ./redis-trib.rb add-node --slave --master-id d00d05f601df0b69df0c2cc532b636d2c83347be 127.0.0.1:6386 127.0.0.1:6385

Adding node 127.0.0.1:6386 to cluster 127.0.0.1:6385
Performing Cluster Check (using node 127.0.0.1:6385)

......
[OK] All nodes agree about slots configuration.

Check for open slots...
Check slots coverage...

[OK] All 16384 slots covered.

Send CLUSTER MEET to node 127.0.0.1:6386 to make it join the cluster.

Waiting for the cluster to join.

Configure node as replica of 127.0.0.1:6385.

[OK] New node added correctly.
查看6386节点状态

[work@jsy-bj-test00 bin]$ ./redis-cli -h 127.0.0.1 -p 6379 -c cluster nodes
6845878cbef3fe25f19a70a8db3eb29abb1b9ea6 127.0.0.1:6386 slave d00d05f601df0b69df0c2cc532b636d2c83347be 0 1578452805439 7 connected

删除节点

[work@jsy-bj-test00 bin]$ ./redis-trib.rb del-node 127.0.0.1:6383 1b99b2a1e4b530501476ab48422c75f30423fd19

Removing node 1b99b2a1e4b530501476ab48422c75f30423fd19 from cluster 127.0.0.1:6383
Sending CLUSTER FORGET messages to the cluster...
SHUTDOWN the node.

相关文章
|
4月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
383 2
|
2月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
518 5
|
3月前
|
存储 监控 NoSQL
Redis高可用架构全解析:从主从复制到集群方案
Redis高可用确保服务持续稳定,避免单点故障导致数据丢失或业务中断。通过主从复制实现数据冗余,哨兵模式支持自动故障转移,Cluster集群则提供分布式数据分片与水平扩展,三者层层递进,保障读写分离、容灾切换与大规模数据存储,构建高性能、高可靠的Redis架构体系。
|
8月前
|
存储 NoSQL 数据库
Redis 逻辑数据库与集群模式详解
Redis 是高性能内存键值数据库,广泛用于缓存与实时数据处理。本文深入解析 Redis 逻辑数据库与集群模式:逻辑数据库提供16个独立存储空间,适合小规模隔离;集群模式通过分布式架构支持高并发和大数据量,但仅支持 database 0。文章对比两者特性,讲解配置与实践注意事项,并探讨持久化及性能优化策略,助你根据需求选择最佳方案。
324 5
|
5月前
|
负载均衡 NoSQL Redis
【赵渝强老师】Redis的主从复制集群
Redis主从复制是指将一台Redis服务器的数据复制到其他Redis服务器,实现数据热备份、故障恢复、负载均衡及高可用架构的基础。主节点负责写操作,从节点同步数据并可提供读服务,提升并发处理能力。
170 5
|
4月前
|
存储 NoSQL 算法
Redis的集群架构与使用经验
本文介绍了Redis的集群架构与使用经验,包括主从复制、哨兵集群及Cluster分片集群的应用场景与实现原理。内容涵盖Redis主从同步机制、数据分片存储方式、事务支持及与Memcached的区别,并讨论了Redis内存用尽时的处理策略。适用于了解Redis高可用与性能优化方案。
|
8月前
|
存储 NoSQL Redis
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
|
9月前
|
存储 NoSQL 算法
Redis分片集群中数据是怎么存储和读取的 ?
Redis集群采用的算法是哈希槽分区算法。Redis集群中有16384个哈希槽(槽的范围是 0 -16383,哈希槽),将不同的哈希槽分布在不同的Redis节点上面进行管理,也就是说每个Redis节点只负责一部分的哈希槽。在对数据进行操作的时候,集群会对使用CRC16算法对key进行计算并对16384取模(slot = CRC16(key)%16383),得到的结果就是 Key-Value 所放入的槽,通过这个值,去找到对应的槽所对应的Redis节点,然后直接到这个对应的节点上进行存取操作
|
10月前
|
缓存 NoSQL Redis
Redis原理—3.复制、哨兵和集群
详细介绍了Redis的复制原理、哨兵原理和集群原理。
|
存储 NoSQL Redis
redis主从集群与分片集群的区别
主从集群通过主节点处理写操作并向从节点广播读操作,从节点处理读操作并复制主节点数据,优点在于提高读取性能、数据冗余及故障转移。分片集群则将数据分散存储于多节点,根据规则路由请求,优势在于横向扩展能力强,提升读写性能与存储容量,增强系统可用性和容错性。主从适用于简单场景,分片适合大规模高性能需求。
576 5