使用Docker-Compose搭建高可用redis哨兵集群

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: 出于学习目的,您可以很轻松地在docker环境下运行redis的单个实例,但是如果您需要在生产环境中运行它,那么必须将Redis部署为HA(High Avaliable)模式。

头脑风暴


出于学习目的,您可以很轻松地在docker环境下运行redis的单个实例,但是如果您需要在生产环境中运行它,那么必须将Redis部署为HA(High Avaliable)模式


Redis Sentinel为Redis提供高可用性,这意味着使用Sentinel可以创建Redis HA部署,该部署可以在无需人工干预的情况下抵抗某些类型的故障。


Redis Sentinel提供的主要功能是:


  1. 当主节点发生故障时,它将自动选择一个备用节点并将其升级为主节点。


它是如何做到的,它会定期检查Redis实例的运行状况和运行状况,还会将新的主服务器通知给客户端和从服务器。使用的是带有领导者选举算法的gossip协议。


  1. Sentinel还充当客户端发现的中心授权来源,客户端连接到Sentinel以获取主节点的地址。


04659f9db6e1a508aadb8ce3107e119a.png


本文以自己的亲身经历,使用Docker-compose搭建一个Redis Sentinel模型(1:master-2:slave:3:sentinel)


Docker-compose搭建Redis Sentinel


Redis Sentinel是针对原始Master/Slave模型而衍生的高可用模型。

我们为便于灵活部署,先易后难,先搭建Redis Master/Slave模型,再搭建Redis Sentinel模型。


文件组织格式如下


redis-sentinel
├── redis
│   └── docker-compose.yml
└── sentinel
    ├── docker-compose.yml
    ├── sentinel1.conf
    ├── sentinel2.conf
    ├── sentinel3.conf
    └── sentinel.conf


1. Master/Slave


进入Redis文件夹,创建docker-compose.yml文件,

下面的Compose文件设置了1Master 2Slave


version: '3'
services:
  master:
    image: redis
    container_name: redis-master
    command: redis-server --requirepass redis_pwd  --masterauth redis_pwd
    ports:
      - 6380:6379
  slave1:
    image: redis
    container_name: redis-slave-1
    ports:
      - 6381:6379
    command:  redis-server --slaveof redis-master 6379 --requirepass redis_pwd --masterauth redis_pwd
  slave2:
    image: redis
    container_name: redis-slave-2
    ports:
      - 6382:6379
    command: redis-server --slaveof redis-master 6379 --requirepass redis_pwd --masterauth redis_pwd


注意,如果设置了Redis客户端访问密码requirepass, 那么也要设置相同的副本集同步密码masterauth。


另外我们后面使用哨兵模式能够完成故障转移,现有的Master可能会变成Slave,故在当前Master容器中也要携带masterauth参数。


可在容器内使用 config get [Param] 命令验证


执行docker-compose up -d会产生3个Redis容器,分别映射到宿主机6380、6381、6382端口, 默认连接在redis-default网桥。


docker ps输出如下:


fe2eb7a5cce9    redis    "docker-entrypoint.s…"   2 hours ago         Up 2 hours            0.0.0.0:6382->6379/tcp               redis-slave-2
4c280aa6dc09    redis    "docker-entrypoint.s…"   2 hours ago         Up 2 hours            0.0.0.0:6381->6379/tcp               redis-slave-1
91b83143b7c1    redis    "docker-entrypoint.s…"   2 hours ago         Up 2 hours            0.0.0.0:6380->6379/tcp               redis-master


2. Redis Sentinel


很明显我们即将搭建的Sentinel容器需要能访问到以上3个容器,故需要在形成Sentinel容器时使用外置的redis-default网桥(Redis Master/Slave docker-compose 已经创建).


2.1 进入sentinel文件夹,创建docker-compose.yml


version: '3'
services:
  sentinel1:
    image: redis
    container_name: redis-sentinel-1
    ports:
      - 26379:26379
    command: redis-sentinel /usr/local/etc/redis/sentinel.conf
    volumes:
      - ./sentinel1.conf:/usr/local/etc/redis/sentinel.conf
  sentinel2:
    image: redis
    container_name: redis-sentinel-2
    ports:
    - 26380:26379
    command: redis-sentinel /usr/local/etc/redis/sentinel.conf
    volumes:
      - ./sentinel2.conf:/usr/local/etc/redis/sentinel.conf
  sentinel3:
    image: redis
    container_name: redis-sentinel-3
    ports:
      - 26381:26379
    command: redis-sentinel /usr/local/etc/redis/sentinel.conf
    volumes:
      - ./sentinel3.conf:/usr/local/etc/redis/sentinel.conf
networks:
  default:
    external:
      name: redis_default


2.2 创建哨兵文件,将如下内容拷贝进去:


port 26379
dir /tmp
sentinel monitor mymaster 172.20.0.3 6379 2
sentinel auth-pass mymaster redis_pwd
sentinel down-after-milliseconds mymaster 30000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000
sentinel deny-scripts-reconfig yes


注意,以上 172.20.0.3是之前Redis Master/slave启动之后Master节点的IP,通过docker inspect [containerIP]获取, 这里我们要配合设置Master/Slave访问密码。


2.3 将哨兵文件复制三份,Volume进Sentinel容器


sudo cp sentinel.conf sentinel1.conf
sudo cp sentinel.conf sentinel2.conf
sudo cp sentinel.conf sentinel3.conf


docker-compose up -d生成3个Sentinel容器。

此时docker ps显示如下:


80f4b776f5dd        redis    "docker-entrypoint.s…"   58 minutes ago      Up 57 minutes         6379/tcp, 0.0.0.0:26380->26379/tcp   redis-sentinel-2
3a1bcdc06253        redis    "docker-entrypoint.s…"   58 minutes ago      Up 57 minutes         6379/tcp, 0.0.0.0:26379->26379/tcp   redis-sentinel-1
3bada23b572e        redis    "docker-entrypoint.s…"   58 minutes ago      Up 57 minutes         6379/tcp, 0.0.0.0:26381->26379/tcp   redis-sentinel-3
fe2eb7a5cce9        redis    "docker-entrypoint.s…"   2 hours ago         Up 2 hours            0.0.0.0:6382->6379/tcp               redis-slave-2
4c280aa6dc09        redis    "docker-entrypoint.s…"   2 hours ago         Up 2 hours            0.0.0.0:6381->6379/tcp               redis-slave-1
91b83143b7c1        redis    "docker-entrypoint.s…"   2 hours ago         Up 2 hours            0.0.0.0:6380->6379/tcp               redis-master


验证


  1. Master/Slave副本集


进入Master容器,确认两个Slave容器已经连接。


71effe94f3f537fb605dc290f4b7905e.png


2.  Redis Sentinel    


进入其中一个Sentinel容器,确认Master、2个Slave、另外2个Sentinel


flags: master  表明master正常运作,异常情况会显示s-down,o-down

num-slaves:侦测到2个Slave副本集

num-other-sentinels:除此之外,还有2个哨兵


  1. Redis Sentinel高可用


停止 master容器,等待10s,进入任意sentinel容器,使用sentinel master mymaster命令观察主节点发生变化,观察外挂的Sentinel*.conf 主节点IP发生变化


总结输出


当初做这个部署,曾经尝试采用阿里云的redis-sentinel docker-compose方式,发现其采用docker-compose scale生成多个Sentinel容器,不能映射到宿主机端口,导致外部Redis客户端无法定位sentinel。


结合网上一些资料,摸索出渐进式部署 && 共享网桥的方式部署Redis Sentinel, 建议Redis客户端link到同一网桥,本人亲测有效。


项目开源地址如下,大家可积极使用。


https://github.com/zaozaoniao/Redis-sentinel-with-docker-compose

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
2月前
|
网络安全 Docker 容器
|
2月前
|
安全 Docker 容器
|
2月前
|
网络安全 Docker 容器
|
2月前
|
网络安全 数据安全/隐私保护 Docker
|
11天前
|
NoSQL 算法 Redis
docker高级篇(大厂进阶):安装redis集群
docker高级篇(大厂进阶):安装redis集群
67 24
|
27天前
|
Prometheus 监控 Cloud Native
如何使用Prometheus监控Docker Swarm集群的资源使用情况?
还可以根据实际需求进行进一步的配置和优化,如设置告警规则,当资源使用超出阈值时及时发出警报。通过这些步骤,能够有效地使用 Prometheus 对 Docker Swarm 集群的资源进行监控和管理。
46 8
|
27天前
|
Prometheus 监控 Cloud Native
如何监控Docker Swarm集群的性能?
如何监控Docker Swarm集群的性能?
86 8
|
27天前
|
监控 Docker 容器
Docker Swarm集群的扩展与缩容策略,涵盖其意义、方法、步骤及注意事项
本文深入探讨了Docker Swarm集群的扩展与缩容策略,涵盖其意义、方法、步骤及注意事项,旨在帮助用户高效管理集群资源,适应业务变化,确保服务稳定性和资源优化。
48 6
|
1月前
|
API Docker 容器
【赵渝强老师】构建Docker Swarm集群
本文介绍了如何使用三台虚拟主机构建Docker Swarm集群。首先在master节点上初始化集群,然后通过特定命令将node1和node2作为worker节点加入集群。最后,在master节点上查看集群的节点信息,确认集群构建成功。文中还提供了相关图片和视频教程,帮助读者更好地理解和操作。
|
1月前
|
调度 Docker 容器
【赵渝强老师】Docker Swarm集群的体系架构
Docker Swarm自1.12.0版本起集成至Docker引擎,无需单独安装。它内置服务发现功能,支持跨多服务器或宿主机创建容器,形成集群提供服务。相比之下,Docker Compose仅限于单个宿主机。Docker Swarm采用主从架构,Swarm Manager负责管理和调度集群中的容器资源,用户通过其接口发送指令,Swarm Node根据指令创建容器运行应用。