容器混搭搞出线上 Redis 事故,这坑我先踩为敬

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介:

事情是这样的, 现在有一个 redis 3.0 集群节点都是裸 redis 或 host 网络模式部署的容器 redis (基本上跟裸 redis 差不多), 需要把它们替换成 macvlan 网络模式的 redis 容器, 以显得我们的 dockerized redis cluster 很上档次。

这事情几个月前也搞过一次毫无压力。然而这一次又搞, 就出岔子了。(这剧本不对啊摔)

于是开始加了两个 macvlan 的容器到上述 redis 集群作为从节点,打算稍候 failover 替换掉主, 过了十分钟左右群里炸毛, 说数据都取不到,或者格式不对。上线一查, 发现正在加从节点的这个集群跟另一个集群的节点混到一起去了。这里吐槽一下 redis 集群的协议,两个正常服务的集群可以直接通过一个 cluster meet 合并成一个集群, 然后槽位分布乱了...

首先当然是紧急恢复线上业务,先拉一个新集群出来再说 (所幸这个集群的数据不需要持久化)。结果,新集群刚弄出来。又被合进了上面那个集群。(这时我满脑子都是某个科教片里两个星系合并的一段视频, 满天都在炸!

然后 cluster nodes 看了一下,发现集群里有几个节点地址变成了 172.17.x.x,这应该是 docker 的内部网段地址,所以反应过来,可能是 docker 网络配置问题,将握手流量发给了错误的节点,然后那些节点被并了进来。这时候创建一个新网段有点来不及了 (还打了个电话给已经请假回家的 @小六哇啦啦 老师...) 换了个思路,把新 redis 换个端口部署,再组个集群,观察了一会儿,这方法起作用了 -.-!!

恢复了被炸得鸡飞狗跳的线上业务之后,就开始排查问题了。线索还是之前 cluster nodes 看到的那个 172.17.x.x 网段, 测试确认了一下,从 docker 容器内连宿主机,宿主机 accept 得到的会是 172.17.x.x 这个地址。而容器内路由表是这样的:

image

确实如果宿主机的 IP 是 10.100.1.100 那么流量走的是 eth0 也就是 172.17.x.x 网卡。(10.222.0.0/16 是容器 macvlan 地址)之后就明白了,172.17.x.x 这样的网卡地址在不同物理机上是可能相同的。也就是说,遭遇的问题可能是如下过程所致

image

* 四个 redis #a #b #c #d
* #a #b 是两个 host 网络的 redis,在同一个集群中,#d 是 macvlan 部署的 redis,在另一个集群中
* #c 是一个空闲的 redis,它与 #d 恰好有相同的 eth0 地址

1> #c 通过 eth0 向 #a 发送了一个 handshake
2> #a 确认, 这时, 它认为 #c 的地址是 172.17.0.55
3> #a 将新节点地址广播给 #b
4> #b 向 172.17.0.55 发送一个握手请求,然而,此地址在它所在机器上对应的是 #d,之后两个集群就混一起去了

这也解释了为啥几个月之前这么搞的时候没出问题,应该是那时候运气好没有相同地址的容器;同时也解释了为啥不是每个纯 macvlan 模式的 redis 集群都中枪。后来在测试机房找了两个恰好相同网卡的容器,按上述思路搭了集群试了试,果然重现了。

解决方案

  • 因噎废食 : 以后别这么混搭玩了
  • 绕过 : 端口号不一样法
  • 改默认路由 : 默认就走 vlan 网卡,不过这样的话不能访问外网, 对 redis 而言没问题, 但其他业务可能就不行了
  • 加路由 : 其实可以通过在容器内加一条路由 10.100.0.0/16 走 vlan 这样宿主机 accept 到的地址就会是机房唯一的 vlan 网卡地址了,这个方案 @CMGS 正在评估中。

文章转载自 开源中国社区[https://www.oschina.net]

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
10月前
|
SQL NoSQL 关系型数据库
docker设置mysql、redis等容器的时区
问题:现在本地docker的mysql容器时区不对,需要为中国的时区
223 0
|
7月前
|
存储 NoSQL Redis
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
159 0
|
7天前
|
NoSQL Redis Docker
Mac上轻松几步搞定Docker与Redis安装:从下载安装到容器运行实测全程指南
Mac上轻松几步搞定Docker与Redis安装:从下载安装到容器运行实测全程指南
28 0
|
7天前
|
NoSQL 关系型数据库 MySQL
安装Docker&镜像容器操作&使用Docker安装部署MySQL,Redis,RabbitMQ,Nacos,Seata,Minio
安装Docker&镜像容器操作&使用Docker安装部署MySQL,Redis,RabbitMQ,Nacos,Seata,Minio
479 1
|
7天前
|
NoSQL Go API
Golang实现redis系列-(4)实现跳表容器
Golang实现redis系列-(4)实现跳表容器
18 0
|
7天前
|
存储 NoSQL Redis
使用Docker构建本地Redis容器及配置
使用Docker构建本地Redis容器及配置
56 1
|
7天前
|
NoSQL Java 应用服务中间件
跟着腾讯T4学架构:微服务+MySQL+Nginx+Redis+容器化+虚拟机
深入理解Java虚拟机》 但要想真的深入理解虚拟机一问肯定远远不够的,但是本文中分三部分对JVM有深入的解析。
|
7天前
|
负载均衡 监控 NoSQL
Redis的几种主要集群方案
【5月更文挑战第15天】Redis集群方案包括主从复制(基础,读写分离,手动故障恢复)、哨兵模式(自动高可用,自动故障转移)和Redis Cluster(官方分布式解决方案,自动分片、容错和扩展)。此外,还有Codis、Redisson和Twemproxy等工具用于代理分片和负载均衡。选择方案需考虑应用场景、数据量和并发需求,权衡可用性、性能和扩展性。
177 2
|
7天前
|
存储 监控 负载均衡
保证Redis的高可用性是一个涉及多个层面的任务,主要包括数据持久化、复制与故障转移、集群化部署等方面
【5月更文挑战第15天】保证Redis高可用性涉及数据持久化、复制与故障转移、集群化及优化策略。RDB和AOF是数据持久化方法,哨兵模式确保故障自动恢复。Redis Cluster实现分布式部署,提高负载均衡和容错性。其他措施包括身份认证、多线程、数据压缩和监控报警,以增强安全性和稳定性。通过综合配置与监控,可确保Redis服务的高效、可靠运行。
179 2
|
7天前
|
存储 NoSQL Redis
Redis源码、面试指南(5)多机数据库、复制、哨兵、集群(下)
Redis源码、面试指南(5)多机数据库、复制、哨兵、集群
221 1