docker搭建Redis Cluster集群环境

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: docker搭建Redis Cluster集群环境

环境

为了让环境更加真实,本文使用多机环境:

  • 192.168.135.10
  • 192.168.135.11

搭建

整体搭建步骤主要分为以下几步:

  • 下载 Redis 镜像(其实这步可以省略,因为创建容器时,如果本地镜像不存在,就会去远程拉
    取);
  • 编写 Redis 配置文件;
  • 创建 Redis 容器;
  • 创建 Redis Cluster 集群。

编写 Redis 配置文件

创建目录及文件

分别在 192.168.135.10 和 192.168.135.11两台机器上执行以下操作。

# 创建目录
mkdir -p /usr/local/docker-redis/redis-cluster
# 切换至指定目录
cd /usr/local/docker-redis/redis-cluster/
# 编写 redis-cluster.tmp


编写配置文件

192.168.135.10 机器的 redis-cluster.tmpl 文件内容如下:

port ${PORT}
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.135.10
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}


192.168.135.11 机器的 redis-cluster.tmpl 文件内容如下:

port ${PORT}
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.135.11
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}
  • port :节点端口;
  • requirepass :添加访问认证;
  • masterauth :如果主节点开启了访问认证,从节点访问主节点需要认证;
  • protected-mode :保护模式,默认值 yes,即开启。开启保护模式以后,需配置 bind ip 或者
  • 设置访问密码;关闭保护模式,外部网络可以直接访问;
  • daemonize :是否以守护线程的方式启动(后台启动),默认 no;
  • appendonly :是否开启 AOF 持久化模式,默认 no;
  • cluster-enabled :是否开启集群模式,默认 no;
  • cluster-config-file :集群节点信息文件;
  • cluster-node-timeout :集群节点连接超时时间;
  • cluster-announce-ip :集群节点 IP,填写宿主机的 IP;
  • cluster-announce-port :集群节点映射端口;
  • cluster-announce-bus-port :集群节点总线端口。

每个 Redis 集群节点都需要打开两个 TCP 连接。一个用于为客户端提供服务的正常 Redis TCP 端口,例如 6379。还有一个基于 6379 端口加 10000 的端口,比如 16379。

第二个端口用于集群总线,这是一个使用二进制协议的节点到节点通信通道。节点使用集群总线进行故障检测、配置更新、故障转移授权等等。客户端永远不要尝试与集群总线端口通信,与正常的 Redis 命令端口通信即可,但是请确保防火墙中的这两个端口都已经打开,否则 Redis集群节点将无法通信。

在 192.168.135.10 机器的 redis-cluster 目录下执行以下命令:

for port in `seq 6371 6373`; do \
  mkdir -p ${port}/conf \
  && PORT=${port} envsubst < redis-cluster.tmpl > ${port}/conf/redis.conf \
  && mkdir -p ${port}/data;\
done

在 192.168.135.11 机器的 redis-cluster 目录下执行以下命令:

for port in `seq 6374 6376`; do \
  mkdir -p ${port}/conf \
  && PORT=${port} envsubst < redis-cluster.tmpl > ${port}/conf/redis.conf \
  && mkdir -p ${port}/data;\
done

在 192.168.10.10 机器执行查看命令结果如下,如果没有 tree 命令先安装 yum install -y tree 。

[root@centos8 redis-cluster]# tree
.
├── 6371
│   ├── conf
│   │   └── redis.conf
│   └── data
│       ├── appendonly.aof
│       ├── dump.rdb
│       └── nodes.conf
├── 6372
│   ├── conf
│   │   └── redis.conf
│   └── data
│       ├── appendonly.aof
│       ├── dump.rdb
│       └── nodes.conf
├── 6373
│   ├── conf
│   │   └── redis.conf
│   └── data
│       ├── appendonly.aof
│       ├── dump.rdb
│       └── nodes.conf
└── redis-cluster.tmpl
9 directories, 13 files


创建 Redis 容器

将宿主机的 6371 ~ 6376 之间的端口与 6 个 Redis 容器映射,并将宿主机的目录与容器内的目录

进行映射(目录挂载)。记得指定网络模式,使用 host 网络模式。

在 192.168.135.10 机器执行以下命令:

for port in $(seq 6371 6373); do docker run -di --restart always --name redis-${port} --net host -v /usr/local/docker-redis/redis-cluster/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf -v /usr/local/docker-redis/redis-cluster/${port}/data:/data redis redis-server /usr/local/etc/redis/redis.conf; done

在 192.168.135.11 机器执行以下命令:

for port in $(seq 6374 6376); do docker run -di --restart always --name redis-${port} --net host -v /usr/local/docker-redis/redis-cluster/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf -v /usr/local/docker-redis/redis-cluster/${port}/data:/data redis redis-server /usr/local/etc/redis/redis.conf; done

在 192.168.135.10 机器执行 docker ps 查看容器是否创建成功。

[root@centos8 redis-cluster]# docker ps
CONTAINER ID   IMAGE     COMMAND                  CREATED          STATUS          PORTS     NAMES
2edc62dd2cfb   redis     "docker-entrypoint.s…"   28 minutes ago   Up 28 minutes             redis-6373
1a7ec20cee40   redis     "docker-entrypoint.s…"   28 minutes ago   Up 28 minutes             redis-6372
1533faf397f8   redis     "docker-entrypoint.s…"   28 minutes ago   Up 28 minutes             redis-6371

在 192.168.135.10 机器执行 docker ps 查看容器是否创建成功。

[root@centos8 docker-redis]# docker ps
CONTAINER ID   IMAGE     COMMAND                  CREATED          STATUS          PORTS     NAMES
5f145eeecc04   redis     "docker-entrypoint.s…"   28 minutes ago   Up 28 minutes             redis-6376
6329807ca2cb   redis     "docker-entrypoint.s…"   28 minutes ago   Up 28 minutes             redis-6375
3c00b97d3510   redis     "docker-entrypoint.s…"   28 minutes ago   Up 28 minutes             redis-6374

创建 Redis Cluster 集群

随便进入一个容器节点,并进入 /usr/local/bin/ 目录:

# 进入容器
docker exec -it redis-6371 bash
# 切换至指定目录
cd /usr/local/bin/

接下来我们就可以通过以下命令实现 Redis Cluster 集群的创建。

redis-cli -a 1234 --cluster create 192.168.135.10:6371 192.168.135.10:6372 192.168.135.10:6373 192.168.135.11:6374 192.168.135.11:6375 192.168.135.11:6376 --cluster-replicas 1

出现选择提示信息,输入yes

Can I set the above configuration? (type 'yes' to accept):

集群创建成功如下:

root@centos8:/usr/local/bin# redis-cli -a 1234 --cluster create 192.168.135.10:6371 192.168.135.10:6372 192.168.135.10:6373 192.168.135.11:
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 192.168.135.11:6376 to 192.168.135.10:6371
Adding replica 192.168.135.10:6373 to 192.168.135.11:6374
Adding replica 192.168.135.11:6375 to 192.168.135.10:6372
M: 8fa990153bfb999537769c06ce7a65390e816294 192.168.135.10:6371
   slots:[0-5460] (5461 slots) master
M: 8996717269b57ca3656a594e615e1258f5ee7833 192.168.135.10:6372
   slots:[10923-16383] (5461 slots) master
S: 4435a05753efbf883e08e8019866f0e0534dcbc3 192.168.135.10:6373
   replicates 31b753b0fe52e0196e8a33149d11a82fdfafdad0
M: 31b753b0fe52e0196e8a33149d11a82fdfafdad0 192.168.135.11:6374
   slots:[5461-10922] (5462 slots) master
S: b47f12ca63f08daedc5c97704811a7207992fd70 192.168.135.11:6375
   replicates 8996717269b57ca3656a594e615e1258f5ee7833
S: 089b98bebcf054c39c6eadab31741529ead62268 192.168.135.11:6376
   replicates 8fa990153bfb999537769c06ce7a65390e816294
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
..
>>> Performing Cluster Check (using node 192.168.135.10:6371)
M: 8fa990153bfb999537769c06ce7a65390e816294 192.168.135.10:6371
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: 089b98bebcf054c39c6eadab31741529ead62268 192.168.135.11:6376
   slots: (0 slots) slave
   replicates 8fa990153bfb999537769c06ce7a65390e816294
S: b47f12ca63f08daedc5c97704811a7207992fd70 192.168.135.11:6375
   slots: (0 slots) slave
   replicates 8996717269b57ca3656a594e615e1258f5ee7833
S: 4435a05753efbf883e08e8019866f0e0534dcbc3 192.168.135.10:6373
   slots: (0 slots) slave
   replicates 31b753b0fe52e0196e8a33149d11a82fdfafdad0
M: 8996717269b57ca3656a594e615e1258f5ee7833 192.168.135.10:6372
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
M: 31b753b0fe52e0196e8a33149d11a82fdfafdad0 192.168.135.11:6374
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

至此一个高可用的 Redis Cluster 集群搭建完成,如下图所示,该集群中包含 6 个 Redis 节点,3主 3 从。三个主节点会分配槽,处理客户端的命令请求,而从节点可用在主节点故障后,顶替主节点。

查看集群状态

我们先进入容器,然后通过一些集群常用的命令查看一下集群的状态。

# 进入容器
docker exec -it redis-6371 bash
# 切换至指定目录
cd /usr/local/bin/

检查集群状态

redis-cli -a 1234 --cluster check 192.168.135.11:6375
root@centos8:/usr/local/bin# redis-cli -a 1234 --cluster check 192.168.135.11:6375
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.135.10:6372 (89967172...) -> 0 keys | 5461 slots | 1 slaves.
192.168.135.10:6371 (8fa99015...) -> 0 keys | 5461 slots | 1 slaves.
192.168.135.11:6374 (31b753b0...) -> 1 keys | 5462 slots | 1 slaves.
[OK] 1 keys in 3 masters.
0.00 keys per slot on average.
>>> Performing Cluster Check (using node 192.168.135.11:6375)
S: b47f12ca63f08daedc5c97704811a7207992fd70 192.168.135.11:6375
   slots: (0 slots) slave
   replicates 8996717269b57ca3656a594e615e1258f5ee7833
S: 4435a05753efbf883e08e8019866f0e0534dcbc3 192.168.135.10:6373
   slots: (0 slots) slave
   replicates 31b753b0fe52e0196e8a33149d11a82fdfafdad0
M: 8996717269b57ca3656a594e615e1258f5ee7833 192.168.135.10:6372
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
M: 8fa990153bfb999537769c06ce7a65390e816294 192.168.135.10:6371
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
M: 31b753b0fe52e0196e8a33149d11a82fdfafdad0 192.168.135.11:6374
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
S: 089b98bebcf054c39c6eadab31741529ead62268 192.168.135.11:6376
   slots: (0 slots) slave
   replicates 8fa990153bfb999537769c06ce7a65390e816294
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
root@centos8:/usr/local/bin# 

查看集群信息和节点信息

# 连接至集群某个节点
redis-cli -c -a 1234 -h 192.168.10.11 -p 6376
# 查看集群信息
cluster info
# 查看集群结点信息
cluster nodes


root@centos8:/usr/local/bin# redis-cli -c -a 1234 -h 192.168.135.11 -p 6376
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.135.11:6376> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:1535
cluster_stats_messages_pong_sent:1632
cluster_stats_messages_meet_sent:1
cluster_stats_messages_sent:3168
cluster_stats_messages_ping_received:1632
cluster_stats_messages_pong_received:1536
cluster_stats_messages_received:3168
192.168.135.11:6376> cluster nodes
4435a05753efbf883e08e8019866f0e0534dcbc3 192.168.135.10:6373@16373 slave 31b753b0fe52e0196e8a33149d11a82fdfafdad0 0 1634571863000 4 connected
8fa990153bfb999537769c06ce7a65390e816294 192.168.135.10:6371@16371 master - 0 1634571861000 1 connected 0-5460
089b98bebcf054c39c6eadab31741529ead62268 192.168.135.11:6376@16376 myself,slave 8fa990153bfb999537769c06ce7a65390e816294 0 1634571863000 1 connected
8996717269b57ca3656a594e615e1258f5ee7833 192.168.135.10:6372@16372 master - 0 1634571863905 2 connected 10923-16383
31b753b0fe52e0196e8a33149d11a82fdfafdad0 192.168.135.11:6374@16374 master - 0 1634571862890 4 connected 5461-10922
b47f12ca63f08daedc5c97704811a7207992fd70 192.168.135.11:6375@16375 slave 8996717269b57ca3656a594e615e1258f5ee7833 0 1634571862000 2 connected

SET/GET

在 6371 节点中执行写入和读取,命令如下:

# 进入容器并连接至集群某个节点
docker exec -it redis-6371 /usr/local/bin/redis-cli -c -a 1234 -h 192.168.135.10 -p 6371
# 写入数据
set name mrhelloworld
set aaa 111
set bbb 222
# 读取数据
get name
get aaa
get bbb

  • 首先进入容器并连接至集群某个节点;
  • 然后执行第一个 set 命令 set name xxxx , name 键根据哈希函数运算以后得到的值为[5798] 。当前集群环境的槽分配情况为: [0-5460] 6371节点 , [5461-10922] 6374节点 ,[10923-16383] 6372节点 ,所以该键的存储就被分配到了 6374 节点上;
  • 再来看第二个 set 命令 set aaa ,这里大家可能会有一些疑问,为什么看不到 aaa 键根据哈希函数运算以后得到的值?因为刚才重定向至 6374 节点插入了数据,此时如果还有数据插入,正好键根据哈希函数运算以后得到的值也还在该节点的范围内,那么直接插入数据即可;
  • 接着是第三个 set 命令 set bbb , bbb 键根据哈希函数运算以后得到的值为 [5287] ,所以该键的存储就被分配到了 6371 节点上;
  • 然后是读取操作,第四个命令 get name , name 键根据哈希函数运算以后得到的值为 [5798] ,被重定向至 6374 节点读取;
  • 第五个命令 get aaa , aaa 键根据哈希函数运算以后得到的值也在 6374 节点,直接读取;
  • 第六个命令 get bbb , bbb 键根据哈希函数运算以后得到的值为 [5287] ,被重定向至 6371 节点读取。

通过以上操作我们得知 name 键的存储被分配到了 6374 节点,如果直接连接 6374 节点并获取该

值会怎么样?没错,不需要重定向节点,因为数据就在该节点,所以直接读取返回。

总结

至此使用多机环境多个容器搭建 Redis Cluster 集群环境就到这里,其实整体搭建过程不算特别麻

烦,因为:

  • 创建 Redis 集群需要用到 Ruby,否则就得自己关联节点构建集群,自己分配槽;
  • 如果使用 Ruby 构建 Redis 集群,就需要安装 Ruby 环境;
  • 而 Redis 从 5 版本开始可以直接使用 redis-cli 命令创建集群了,就省去了很多麻烦事;
  • 我们还使用了 shell for 循环语句简化了构建过程,否则那些语句一条条执行也够你闹心的。
    综上所述,有没有更简单的办法呢?当然有了==》docker compose 就可以解决这个问题,点击专栏目录就可以查看docker compose了!


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
9天前
|
数据采集 存储 Docker
深入理解Docker:为你的爬虫项目提供隔离环境
本教程介绍如何使用Docker构建隔离环境,运行Python爬虫项目,采集小红书视频页面的简介和评论。主要内容包括: 1. **Docker隔离环境**:通过Docker容器化爬虫,确保环境独立、易于部署。 2. **代理IP技术**:利用亿牛云爬虫代理突破反爬限制。 3. **Cookie与User-Agent设置**:伪装请求头,模拟真实用户访问。 4. **多线程采集**:提高数据采集效率。 前置知识要求:Python基础、Docker基本操作及HTML解析(可选)。教程还涵盖常见错误解决方法和延伸练习,帮助你优化爬虫代码并避免陷阱。
深入理解Docker:为你的爬虫项目提供隔离环境
|
4天前
|
存储 NoSQL Redis
Docker 部署 Redis
在使用 Docker 部署 Redis 时,为实现数据持久化,需正确挂载容器内的数据目录到宿主机。推荐命令如下: ``` docker run -d --name redis -v /mnt/data/redis:/data -p 6379:6379 redis ``` 该命令将宿主机的 `/mnt/data/redis` 目录挂载到容器的 `/data` 目录,确保 Redis 数据持久化。此路径更通用,适合大多数场景。避免使用不匹配的挂载路径,如 `/var/lib/redis` 或 `/mnt/data/redis` 到非默认目录,以防止数据无法正确持久化。
|
11天前
|
JavaScript 前端开发 Docker
如何通过pm2以cluster模式多进程部署next.js(包括docker下的部署)
通过这些步骤,可以确保您的Next.js应用在多核服务器上高效运行,并且在Docker环境中实现高效的容器化管理。
71 44
|
2月前
|
NoSQL 关系型数据库 Redis
《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群
《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群
123 14
|
1月前
|
关系型数据库 MySQL 应用服务中间件
《docker基础篇:8.Docker常规安装简介》包括:docker常规安装总体步骤、安装tomcat、安装mysql、安装redis
《docker基础篇:8.Docker常规安装简介》包括:docker常规安装总体步骤、安装tomcat、安装mysql、安装redis
121 7
|
2月前
|
NoSQL 算法 Redis
docker高级篇(大厂进阶):安装redis集群
docker高级篇(大厂进阶):安装redis集群
167 24
|
2月前
|
存储 NoSQL Redis
redis主从集群与分片集群的区别
主从集群通过主节点处理写操作并向从节点广播读操作,从节点处理读操作并复制主节点数据,优点在于提高读取性能、数据冗余及故障转移。分片集群则将数据分散存储于多节点,根据规则路由请求,优势在于横向扩展能力强,提升读写性能与存储容量,增强系统可用性和容错性。主从适用于简单场景,分片适合大规模高性能需求。
72 5
|
2月前
|
负载均衡 网络协议 算法
Docker容器环境中服务发现与负载均衡的技术与方法,涵盖环境变量、DNS、集中式服务发现系统等方式
本文探讨了Docker容器环境中服务发现与负载均衡的技术与方法,涵盖环境变量、DNS、集中式服务发现系统等方式,以及软件负载均衡器、云服务负载均衡、容器编排工具等实现手段,强调两者结合的重要性及面临挑战的应对措施。
123 3
|
3月前
|
关系型数据库 MySQL Docker
docker环境下mysql镜像启动后权限更改问题的解决
在Docker环境下运行MySQL容器时,权限问题是一个常见的困扰。通过正确设置目录和文件的权限,可以确保MySQL容器顺利启动并正常运行。本文提供了多种解决方案,包括在主机上设置正确的权限、使用Dockerfile和Docker Compose进行配置、在容器启动后手动更改权限以及使用 `init`脚本自动更改权限。根据实际情况选择合适的方法,可以有效解决MySQL容器启动后的权限问题。希望本文对您在Docker环境下运行MySQL容器有所帮助。
636 1
|
4月前
|
NoSQL Linux Redis
Docker学习二(Centos):Docker安装并运行redis(成功运行)
这篇文章介绍了在CentOS系统上使用Docker安装并运行Redis数据库的详细步骤,包括拉取Redis镜像、创建挂载目录、下载配置文件、修改配置以及使用Docker命令运行Redis容器,并检查运行状态和使用Navicat连接Redis。
523 3