使用Docker-Compose搭建高可用redis哨兵集群

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 出于学习目的,您可以很轻松地在docker环境下运行redis的单个实例,但是如果您需要在生产环境中运行它,那么必须将Redis部署为HA(High Avaliable)模式。

头脑风暴


出于学习目的,您可以很轻松地在docker环境下运行redis的单个实例,但是如果您需要在生产环境中运行它,那么必须将Redis部署为HA(High Avaliable)模式


Redis Sentinel为Redis提供高可用性,这意味着使用Sentinel可以创建Redis HA部署,该部署可以在无需人工干预的情况下抵抗某些类型的故障。


Redis Sentinel提供的主要功能是:


  1. 当主节点发生故障时,它将自动选择一个备用节点并将其升级为主节点。


它是如何做到的,它会定期检查Redis实例的运行状况和运行状况,还会将新的主服务器通知给客户端和从服务器。使用的是带有领导者选举算法的gossip协议。


  1. Sentinel还充当客户端发现的中心授权来源,客户端连接到Sentinel以获取主节点的地址。


04659f9db6e1a508aadb8ce3107e119a.png


本文以自己的亲身经历,使用Docker-compose搭建一个Redis Sentinel模型(1:master-2:slave:3:sentinel)


Docker-compose搭建Redis Sentinel


Redis Sentinel是针对原始Master/Slave模型而衍生的高可用模型。

我们为便于灵活部署,先易后难,先搭建Redis Master/Slave模型,再搭建Redis Sentinel模型。


文件组织格式如下


redis-sentinel
├── redis
│   └── docker-compose.yml
└── sentinel
    ├── docker-compose.yml
    ├── sentinel1.conf
    ├── sentinel2.conf
    ├── sentinel3.conf
    └── sentinel.conf


1. Master/Slave


进入Redis文件夹,创建docker-compose.yml文件,

下面的Compose文件设置了1Master 2Slave


version: '3'
services:
  master:
    image: redis
    container_name: redis-master
    command: redis-server --requirepass redis_pwd  --masterauth redis_pwd
    ports:
      - 6380:6379
  slave1:
    image: redis
    container_name: redis-slave-1
    ports:
      - 6381:6379
    command:  redis-server --slaveof redis-master 6379 --requirepass redis_pwd --masterauth redis_pwd
  slave2:
    image: redis
    container_name: redis-slave-2
    ports:
      - 6382:6379
    command: redis-server --slaveof redis-master 6379 --requirepass redis_pwd --masterauth redis_pwd


注意,如果设置了Redis客户端访问密码requirepass, 那么也要设置相同的副本集同步密码masterauth。


另外我们后面使用哨兵模式能够完成故障转移,现有的Master可能会变成Slave,故在当前Master容器中也要携带masterauth参数。


可在容器内使用 config get [Param] 命令验证


执行docker-compose up -d会产生3个Redis容器,分别映射到宿主机6380、6381、6382端口, 默认连接在redis-default网桥。


docker ps输出如下:


fe2eb7a5cce9    redis    "docker-entrypoint.s…"   2 hours ago         Up 2 hours            0.0.0.0:6382->6379/tcp               redis-slave-2
4c280aa6dc09    redis    "docker-entrypoint.s…"   2 hours ago         Up 2 hours            0.0.0.0:6381->6379/tcp               redis-slave-1
91b83143b7c1    redis    "docker-entrypoint.s…"   2 hours ago         Up 2 hours            0.0.0.0:6380->6379/tcp               redis-master


2. Redis Sentinel


很明显我们即将搭建的Sentinel容器需要能访问到以上3个容器,故需要在形成Sentinel容器时使用外置的redis-default网桥(Redis Master/Slave docker-compose 已经创建).


2.1 进入sentinel文件夹,创建docker-compose.yml


version: '3'
services:
  sentinel1:
    image: redis
    container_name: redis-sentinel-1
    ports:
      - 26379:26379
    command: redis-sentinel /usr/local/etc/redis/sentinel.conf
    volumes:
      - ./sentinel1.conf:/usr/local/etc/redis/sentinel.conf
  sentinel2:
    image: redis
    container_name: redis-sentinel-2
    ports:
    - 26380:26379
    command: redis-sentinel /usr/local/etc/redis/sentinel.conf
    volumes:
      - ./sentinel2.conf:/usr/local/etc/redis/sentinel.conf
  sentinel3:
    image: redis
    container_name: redis-sentinel-3
    ports:
      - 26381:26379
    command: redis-sentinel /usr/local/etc/redis/sentinel.conf
    volumes:
      - ./sentinel3.conf:/usr/local/etc/redis/sentinel.conf
networks:
  default:
    external:
      name: redis_default


2.2 创建哨兵文件,将如下内容拷贝进去:


port 26379
dir /tmp
sentinel monitor mymaster 172.20.0.3 6379 2
sentinel auth-pass mymaster redis_pwd
sentinel down-after-milliseconds mymaster 30000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000
sentinel deny-scripts-reconfig yes


注意,以上 172.20.0.3是之前Redis Master/slave启动之后Master节点的IP,通过docker inspect [containerIP]获取, 这里我们要配合设置Master/Slave访问密码。


2.3 将哨兵文件复制三份,Volume进Sentinel容器


sudo cp sentinel.conf sentinel1.conf
sudo cp sentinel.conf sentinel2.conf
sudo cp sentinel.conf sentinel3.conf


docker-compose up -d生成3个Sentinel容器。

此时docker ps显示如下:


80f4b776f5dd        redis    "docker-entrypoint.s…"   58 minutes ago      Up 57 minutes         6379/tcp, 0.0.0.0:26380->26379/tcp   redis-sentinel-2
3a1bcdc06253        redis    "docker-entrypoint.s…"   58 minutes ago      Up 57 minutes         6379/tcp, 0.0.0.0:26379->26379/tcp   redis-sentinel-1
3bada23b572e        redis    "docker-entrypoint.s…"   58 minutes ago      Up 57 minutes         6379/tcp, 0.0.0.0:26381->26379/tcp   redis-sentinel-3
fe2eb7a5cce9        redis    "docker-entrypoint.s…"   2 hours ago         Up 2 hours            0.0.0.0:6382->6379/tcp               redis-slave-2
4c280aa6dc09        redis    "docker-entrypoint.s…"   2 hours ago         Up 2 hours            0.0.0.0:6381->6379/tcp               redis-slave-1
91b83143b7c1        redis    "docker-entrypoint.s…"   2 hours ago         Up 2 hours            0.0.0.0:6380->6379/tcp               redis-master


验证


  1. Master/Slave副本集


进入Master容器,确认两个Slave容器已经连接。


71effe94f3f537fb605dc290f4b7905e.png


2.  Redis Sentinel    


进入其中一个Sentinel容器,确认Master、2个Slave、另外2个Sentinel


flags: master  表明master正常运作,异常情况会显示s-down,o-down

num-slaves:侦测到2个Slave副本集

num-other-sentinels:除此之外,还有2个哨兵


  1. Redis Sentinel高可用


停止 master容器,等待10s,进入任意sentinel容器,使用sentinel master mymaster命令观察主节点发生变化,观察外挂的Sentinel*.conf 主节点IP发生变化


总结输出


当初做这个部署,曾经尝试采用阿里云的redis-sentinel docker-compose方式,发现其采用docker-compose scale生成多个Sentinel容器,不能映射到宿主机端口,导致外部Redis客户端无法定位sentinel。


结合网上一些资料,摸索出渐进式部署 && 共享网桥的方式部署Redis Sentinel, 建议Redis客户端link到同一网桥,本人亲测有效。


项目开源地址如下,大家可积极使用。


https://github.com/zaozaoniao/Redis-sentinel-with-docker-compose

相关文章
|
4月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
343 2
|
5月前
|
关系型数据库 应用服务中间件 nginx
Docker一键安装中间件(RocketMq、Nginx、MySql、Minio、Jenkins、Redis)
本系列脚本提供RocketMQ、Nginx、MySQL、MinIO、Jenkins和Redis的Docker一键安装与配置方案,适用于快速部署微服务基础环境。
kde
|
2月前
|
存储 NoSQL Redis
手把手教你用 Docker 部署 Redis
Redis是高性能内存数据库,支持多种数据结构,适用于缓存、消息队列等场景。本文介绍如何通过Docker快速拉取轩辕镜像并部署Redis,涵盖快速启动、持久化存储及docker-compose配置,助力开发者高效搭建稳定服务。
kde
672 7
|
2月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
354 5
|
3月前
|
存储 监控 NoSQL
Redis高可用架构全解析:从主从复制到集群方案
Redis高可用确保服务持续稳定,避免单点故障导致数据丢失或业务中断。通过主从复制实现数据冗余,哨兵模式支持自动故障转移,Cluster集群则提供分布式数据分片与水平扩展,三者层层递进,保障读写分离、容灾切换与大规模数据存储,构建高性能、高可靠的Redis架构体系。
|
8月前
|
存储 NoSQL 数据库
Redis 逻辑数据库与集群模式详解
Redis 是高性能内存键值数据库,广泛用于缓存与实时数据处理。本文深入解析 Redis 逻辑数据库与集群模式:逻辑数据库提供16个独立存储空间,适合小规模隔离;集群模式通过分布式架构支持高并发和大数据量,但仅支持 database 0。文章对比两者特性,讲解配置与实践注意事项,并探讨持久化及性能优化策略,助你根据需求选择最佳方案。
291 5
|
5月前
|
负载均衡 NoSQL Redis
【赵渝强老师】Redis的主从复制集群
Redis主从复制是指将一台Redis服务器的数据复制到其他Redis服务器,实现数据热备份、故障恢复、负载均衡及高可用架构的基础。主节点负责写操作,从节点同步数据并可提供读服务,提升并发处理能力。
149 5
|
4月前
|
存储 NoSQL 算法
Redis的集群架构与使用经验
本文介绍了Redis的集群架构与使用经验,包括主从复制、哨兵集群及Cluster分片集群的应用场景与实现原理。内容涵盖Redis主从同步机制、数据分片存储方式、事务支持及与Memcached的区别,并讨论了Redis内存用尽时的处理策略。适用于了解Redis高可用与性能优化方案。
|
5月前
|
NoSQL Redis 数据安全/隐私保护
挂载配置文件以Docker启动Redis服务
以上步骤提供了一个高效且实用的方式来使用Docker启动并运行带有自定义配置的Redis服务。这些操作可以适用于开发、测试和生产环境,是一种灵活且可扩展的部署方案。通过挂载配置文件和数据卷,您可以轻松地管理和迁移您的Redis实例。
569 9
|
8月前
|
存储 NoSQL Redis
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构