环境
为了让环境更加真实，本文使用多机环境：
- 192.168.135.10
- 192.168.135.11
搭建
整体搭建步骤主要分为以下几步：
- 下载 Redis 镜像（其实这步可以省略，因为创建容器时，如果本地镜像不存在，就会去远程拉取）；
- 编写 Redis 配置文件；
- 编写 Docker Compose 模板文件；
- 创建并启动所有服务容器；
- 创建 Redis Cluster 集群。
编写 Redis 配置文件
创建目录及文件
分别在 192.168.135.10 和 192.168.135.11两台机器上执行以下操作。
# 创建目录 mkdir -p /usr/local/docker-redis/redis-cluster # 切换至指定目录 cd /usr/local/docker-redis/redis-cluster/ # 编写 redis-cluster.tmp
编写配置文件
192.168.135.10 机器的 redis-cluster.tmpl 文件内容如下：
port ${PORT} requirepass 1234 masterauth 1234 protected-mode no daemonize no appendonly yes cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 15000 cluster-announce-ip 192.168.135.10 cluster-announce-port ${PORT} cluster-announce-bus-port 1${PORT}
192.168.135.11 机器的 redis-cluster.tmpl 文件内容如下：
port ${PORT} requirepass 1234 masterauth 1234 protected-mode no daemonize no appendonly yes cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 15000 cluster-announce-ip 192.168.135.11 cluster-announce-port ${PORT} cluster-announce-bus-port 1${PORT}
- port ：节点端口；
- requirepass ：添加访问认证；
- masterauth ：如果主节点开启了访问认证，从节点访问主节点需要认证；
- protected-mode ：保护模式，默认值 yes，即开启。开启保护模式以后，需配置 bind ip 或者
- 设置访问密码；关闭保护模式，外部网络可以直接访问；
- daemonize ：是否以守护线程的方式启动（后台启动），默认 no；
- appendonly ：是否开启 AOF 持久化模式，默认 no；
- cluster-enabled ：是否开启集群模式，默认 no；
- cluster-config-file ：集群节点信息文件；
- cluster-node-timeout ：集群节点连接超时时间；
- cluster-announce-ip ：集群节点 IP，填写宿主机的 IP；
- cluster-announce-port ：集群节点映射端口；
- cluster-announce-bus-port ：集群节点总线端口。
每个 Redis 集群节点都需要打开两个 TCP 连接。一个用于为客户端提供服务的正常 Redis TCP 端口，例如 6379。还有一个基于 6379 端口加 10000 的端口，比如 16379。
第二个端口用于集群总线，这是一个使用二进制协议的节点到节点通信通道。节点使用集群总线进行故障检测、配置更新、故障转移授权等等。客户端永远不要尝试与集群总线端口通信，与正常的 Redis 命令端口通信即可，但是请确保防火墙中的这两个端口都已经打开，否则 Redis集群节点将无法通信。
在 192.168.135.10 机器的 redis-cluster 目录下执行以下命令：
注意这里直接复制会出错，需要一条一条复制
for port in `seq 6371 6373`; do \ mkdir -p ${port}/conf \ && PORT=${port} envsubst < redis-cluster.tmpl > ${port}/conf/redis.conf \ && mkdir -p ${port}/data;\ done
在 192.168.135.11 机器的 redis-cluster 目录下执行以下命令：
for port in `seq 6374 6376`; do \ mkdir -p ${port}/conf \ && PORT=${port} envsubst < redis-cluster.tmpl > ${port}/conf/redis.conf \ && mkdir -p ${port}/data;\ done
在 192.168.10.10 机器执行查看命令结果如下，如果没有 tree 命令先安装 yum install -y tree 。
[root@centos8 redis-cluster]# tree . ├── 6371 │ ├── conf │ │ └── redis.conf │ └── data │ ├── appendonly.aof │ ├── dump.rdb │ └── nodes.conf ├── 6372 │ ├── conf │ │ └── redis.conf │ └── data │ ├── appendonly.aof │ ├── dump.rdb │ └── nodes.conf ├── 6373 │ ├── conf │ │ └── redis.conf │ └── data │ ├── appendonly.aof │ ├── dump.rdb │ └── nodes.conf └── redis-cluster.tmpl 9 directories, 13 files
yml文件的坑
文件内不能用制表符（TAB）
里面都是用缩进控制键值对的，要手动打空格
编写 Docker Compose 模板文件
在 192.168.135.10 机器的 /usr/local/docker-redis/redis-cluster 目录下创建 docker-compose.yml 文件
并编辑。
# 描述 Compose 文件的版本信息 version: "3.8" # 定义服务，可以多个 services: redis-6371: # 服务名称 image: redis # 创建容器时所需的镜像 container_name: redis-6371 # 容器名称 restart: always # 容器总是重新启动 network_mode: "host" # host 网络模式 volumes: # 数据卷，目录挂载 - /usr/local/docker-redis/redis-cluster/6371/conf/redis.conf:/usr/local/etc/redis/redis.conf - /usr/local/docker-redis/redis-cluster/6371/data:/data command: redis-server /usr/local/etc/redis/redis.conf # 覆盖容器启动后默认执行的命令 redis-6372: image: redis container_name: redis-6372 network_mode: "host" volumes: - /usr/local/docker-redis/redis-cluster/6372/conf/redis.conf:/usr/local/etc/redis/redis.conf - /usr/local/docker-redis/redis-cluster/6372/data:/data command: redis-server /usr/local/etc/redis/redis.conf redis-6373: image: redis container_name: redis-6373 network_mode: "host" volumes: - /usr/local/docker-redis/redis-cluster/6373/conf/redis.conf:/usr/local/etc/redis/redis.conf - /usr/local/docker-redis/redis-cluster/6373/data:/data command: redis-server /usr/local/etc/redis/redis.conf
在 192.168.135.11 机器的 /usr/local/docker-redis/redis-cluster 目录下创建 docker-compose.yml 文件
并编辑。
# 描述 Compose 文件的版本信息 version: "3.8" # 定义服务，可以多个 services: redis-6374: # 服务名称 image: redis # 创建容器时所需的镜像 container_name: redis-6374 # 容器名称 restart: always # 容器总是重新启动 network_mode: "host" # host 网络模式 volumes: # 数据卷，目录挂载 - /usr/local/docker-redis/redis-cluster/6374/conf/redis.conf:/usr/local/etc/redis/redis.conf - /usr/local/docker-redis/redis-cluster/6374/data:/data command: redis-server /usr/local/etc/redis/redis.conf # 覆盖容器启动后默认执行的命令 redis-6375: image: redis container_name: redis-6375 network_mode: "host" volumes: - /usr/local/docker-redis/redis-cluster/6375/conf/redis.conf:/usr/local/etc/redis/redis.conf - /usr/local/docker-redis/redis-cluster/6375/data:/data command: redis-server /usr/local/etc/redis/redis.conf redis-6376: image: redis container_name: redis-6376 network_mode: "host" volumes: - /usr/local/docker-redis/redis-cluster/6376/conf/redis.conf:/usr/local/etc/redis/redis.conf - /usr/local/docker-redis/redis-cluster/6376/data:/data command: redis-server /usr/local/etc/redis/redis.conf
创建并启动所有服务容器
在 192.168.135.10和 192.168.135.11机器的 /usr/local/docker-redis/redis-cluster 目录下执行以下
命令：
docker-compose up -d
[wxf@centos8 redis-cluster]$ docker-compose up -d [+] Running 3/3 ⠿ Container redis-6371 Started 0.2s ⠿ Container redis-6373 Started 0.2s ⠿ Container redis-6372 Started
[root@centos8 redis-cluster]# docker-compose up -d [+] Running 3/3 ⠿ Container redis-6376 Started 0.2s ⠿ Container redis-6374 Started 0.3s ⠿ Container redis-6375 Started
创建 Redis Cluster 集群
随便进入一个容器节点，并进入 /usr/local/bin/ 目录：
# 进入容器 docker exec -it redis-6371 bash # 切换至指定目录 cd /usr/local/bin/
接下来我们就可以通过以下命令实现 Redis Cluster 集群的创建。
redis-cli -a 1234 --cluster create 192.168.135.10:6371 192.168.135.10:6372 192.168.135.10:6373 192.168.135.11:6374 192.168.135.11:6375 192.168.135.11:6376 --cluster-replicas 1
出现选择提示信息，输入yes
Can I set the above configuration? (type 'yes' to accept):
集群创建成功如下：
root@centos8:/usr/local/bin# redis-cli -a 1234 --cluster create 192.168.135.10:6371 192.168.135.10:6372 192.168.135.10:6373 192.168.135.11: Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe. >>> Performing hash slots allocation on 6 nodes... Master[0] -> Slots 0 - 5460 Master[1] -> Slots 5461 - 10922 Master[2] -> Slots 10923 - 16383 Adding replica 192.168.135.11:6376 to 192.168.135.10:6371 Adding replica 192.168.135.10:6373 to 192.168.135.11:6374 Adding replica 192.168.135.11:6375 to 192.168.135.10:6372 M: 8fa990153bfb999537769c06ce7a65390e816294 192.168.135.10:6371 slots:[0-5460] (5461 slots) master M: 8996717269b57ca3656a594e615e1258f5ee7833 192.168.135.10:6372 slots:[10923-16383] (5461 slots) master S: 4435a05753efbf883e08e8019866f0e0534dcbc3 192.168.135.10:6373 replicates 31b753b0fe52e0196e8a33149d11a82fdfafdad0 M: 31b753b0fe52e0196e8a33149d11a82fdfafdad0 192.168.135.11:6374 slots:[5461-10922] (5462 slots) master S: b47f12ca63f08daedc5c97704811a7207992fd70 192.168.135.11:6375 replicates 8996717269b57ca3656a594e615e1258f5ee7833 S: 089b98bebcf054c39c6eadab31741529ead62268 192.168.135.11:6376 replicates 8fa990153bfb999537769c06ce7a65390e816294 Can I set the above configuration? (type 'yes' to accept): yes >>> Nodes configuration updated >>> Assign a different config epoch to each node >>> Sending CLUSTER MEET messages to join the cluster Waiting for the cluster to join .. >>> Performing Cluster Check (using node 192.168.135.10:6371) M: 8fa990153bfb999537769c06ce7a65390e816294 192.168.135.10:6371 slots:[0-5460] (5461 slots) master 1 additional replica(s) S: 089b98bebcf054c39c6eadab31741529ead62268 192.168.135.11:6376 slots: (0 slots) slave replicates 8fa990153bfb999537769c06ce7a65390e816294 S: b47f12ca63f08daedc5c97704811a7207992fd70 192.168.135.11:6375 slots: (0 slots) slave replicates 8996717269b57ca3656a594e615e1258f5ee7833 S: 4435a05753efbf883e08e8019866f0e0534dcbc3 192.168.135.10:6373 slots: (0 slots) slave replicates 31b753b0fe52e0196e8a33149d11a82fdfafdad0 M: 8996717269b57ca3656a594e615e1258f5ee7833 192.168.135.10:6372 slots:[10923-16383] (5461 slots) master 1 additional replica(s) M: 31b753b0fe52e0196e8a33149d11a82fdfafdad0 192.168.135.11:6374 slots:[5461-10922] (5462 slots) master 1 additional replica(s) [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered.
至此一个高可用的 Redis Cluster 集群搭建完成，如下图所示，该集群中包含 6 个 Redis 节点，3主 3 从。三个主节点会分配槽，处理客户端的命令请求，而从节点可用在主节点故障后，顶替主节点。
查看集群状态
我们先进入容器，然后通过一些集群常用的命令查看一下集群的状态。
# 进入容器 docker exec -it redis-6371 bash # 切换至指定目录 cd /usr/local/bin/
检查集群状态
redis-cli -a 1234 --cluster check 192.168.135.11:6375
root@centos8:/usr/local/bin# redis-cli -a 1234 --cluster check 192.168.135.11:6375 Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe. 192.168.135.10:6372 (89967172...) -> 0 keys | 5461 slots | 1 slaves. 192.168.135.10:6371 (8fa99015...) -> 0 keys | 5461 slots | 1 slaves. 192.168.135.11:6374 (31b753b0...) -> 1 keys | 5462 slots | 1 slaves. [OK] 1 keys in 3 masters. 0.00 keys per slot on average. >>> Performing Cluster Check (using node 192.168.135.11:6375) S: b47f12ca63f08daedc5c97704811a7207992fd70 192.168.135.11:6375 slots: (0 slots) slave replicates 8996717269b57ca3656a594e615e1258f5ee7833 S: 4435a05753efbf883e08e8019866f0e0534dcbc3 192.168.135.10:6373 slots: (0 slots) slave replicates 31b753b0fe52e0196e8a33149d11a82fdfafdad0 M: 8996717269b57ca3656a594e615e1258f5ee7833 192.168.135.10:6372 slots:[10923-16383] (5461 slots) master 1 additional replica(s) M: 8fa990153bfb999537769c06ce7a65390e816294 192.168.135.10:6371 slots:[0-5460] (5461 slots) master 1 additional replica(s) M: 31b753b0fe52e0196e8a33149d11a82fdfafdad0 192.168.135.11:6374 slots:[5461-10922] (5462 slots) master 1 additional replica(s) S: 089b98bebcf054c39c6eadab31741529ead62268 192.168.135.11:6376 slots: (0 slots) slave replicates 8fa990153bfb999537769c06ce7a65390e816294 [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered. root@centos8:/usr/local/bin#
查看集群信息和节点信息
# 连接至集群某个节点 redis-cli -c -a 1234 -h 192.168.10.11 -p 6376 # 查看集群信息 cluster info # 查看集群结点信息 cluster nodes
root@centos8:/usr/local/bin# redis-cli -c -a 1234 -h 192.168.135.11 -p 6376 Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe. 192.168.135.11:6376> cluster info cluster_state:ok cluster_slots_assigned:16384 cluster_slots_ok:16384 cluster_slots_pfail:0 cluster_slots_fail:0 cluster_known_nodes:6 cluster_size:3 cluster_current_epoch:6 cluster_my_epoch:1 cluster_stats_messages_ping_sent:1535 cluster_stats_messages_pong_sent:1632 cluster_stats_messages_meet_sent:1 cluster_stats_messages_sent:3168 cluster_stats_messages_ping_received:1632 cluster_stats_messages_pong_received:1536 cluster_stats_messages_received:3168 192.168.135.11:6376> cluster nodes 4435a05753efbf883e08e8019866f0e0534dcbc3 192.168.135.10:6373@16373 slave 31b753b0fe52e0196e8a33149d11a82fdfafdad0 0 1634571863000 4 connected 8fa990153bfb999537769c06ce7a65390e816294 192.168.135.10:6371@16371 master - 0 1634571861000 1 connected 0-5460 089b98bebcf054c39c6eadab31741529ead62268 192.168.135.11:6376@16376 myself,slave 8fa990153bfb999537769c06ce7a65390e816294 0 1634571863000 1 connected 8996717269b57ca3656a594e615e1258f5ee7833 192.168.135.10:6372@16372 master - 0 1634571863905 2 connected 10923-16383 31b753b0fe52e0196e8a33149d11a82fdfafdad0 192.168.135.11:6374@16374 master - 0 1634571862890 4 connected 5461-10922 b47f12ca63f08daedc5c97704811a7207992fd70 192.168.135.11:6375@16375 slave 8996717269b57ca3656a594e615e1258f5ee7833 0 1634571862000 2 connected
SET/GET
在 6371 节点中执行写入和读取，命令如下：
# 进入容器并连接至集群某个节点 docker exec -it redis-6371 /usr/local/bin/redis-cli -c -a 1234 -h 192.168.135.10 -p 6371 # 写入数据 set name mrhelloworld set aaa 111 set bbb 222 # 读取数据 get name get aaa get bbb
- 首先进入容器并连接至集群某个节点；
- 然后执行第一个 set 命令 set name xxxx ， name 键根据哈希函数运算以后得到的值为[5798] 。当前集群环境的槽分配情况为： [0-5460] 6371节点 ， [5461-10922] 6374节点 ，[10923-16383] 6372节点 ，所以该键的存储就被分配到了 6374 节点上；
- 再来看第二个 set 命令 set aaa ，这里大家可能会有一些疑问，为什么看不到 aaa 键根据哈希函数运算以后得到的值？因为刚才重定向至 6374 节点插入了数据，此时如果还有数据插入，正好键根据哈希函数运算以后得到的值也还在该节点的范围内，那么直接插入数据即可；
- 接着是第三个 set 命令 set bbb ， bbb 键根据哈希函数运算以后得到的值为 [5287] ，所以该键的存储就被分配到了 6371 节点上；
- 然后是读取操作，第四个命令 get name ， name 键根据哈希函数运算以后得到的值为 [5798] ，被重定向至 6374 节点读取；
- 第五个命令 get aaa ， aaa 键根据哈希函数运算以后得到的值也在 6374 节点，直接读取；
- 第六个命令 get bbb ， bbb 键根据哈希函数运算以后得到的值为 [5287] ，被重定向至 6371 节点读取。
通过以上操作我们得知 name 键的存储被分配到了 6374 节点，如果直接连接 6374 节点并获取该
值会怎么样？没错，不需要重定向节点，因为数据就在该节点，所以直接读取返回。
总结
至此使用多机环境基于 Docker Compose 搭建 Redis Cluster 就到这里。虽然整体搭建过程感觉比起之前并没有简化太多。但是，如果我们想要停止并删除 Redis Cluster 集群环境，之前的方式就需要一个个去操作，而 Docker Compose 只需要一个 docker-compose down 命令的操作即可
