docker高级篇(大厂进阶):安装redis集群

简介: docker高级篇(大厂进阶):安装redis集群

image.png

@[toc]

1.Docker复杂安装详说

1.2安装redis集群

image.png

1.2.1面试题:1~2亿条数据需要缓存,请问如何设计这个存储案例

image.png

问题:1~2亿条数据需要缓存,请问如何设计这个存储案例

答案:3种方法
1)哈希取余分区
2)一致性哈希算法分区
3)哈希槽分区

哈希取余分区

image.png
image.png

问题:这种方案缺点是啥?

答案:
image.png

一致性哈希算法分区

  • 一致性哈希算法分区是什么
    image.png

  • 能干嘛
    image.png

  • 3大步骤
    3大步骤:
    1)算法构建一致性哈希环
    2)服务器IP节点映射
    3)key落到服务器的落键规则

算法构建一致性哈希环

image.png

问题:为啥是2^32?

答案:因为hash值是32位的

服务器IP节点映射
image.png

key落到服务器的落键规则
image.png

  • 优点
    一致性哈希算法的容错性
    image.png

一致性哈希算法的扩展性
image.png

  • 缺点
    一致性哈希算法的数据倾斜问题
    image.png

  • 小总结
    image.png

哈希槽分区

问题:哈希槽分区是什么?

答案
image.png

  • 哈希槽计算
    image.png

经典面试题:

image.png

问题:为什么redis集群的最大槽数是16384个?

答案
image.png
image.png
image.png
image.png

1.2.2 3主3从redis集群扩缩容配置案例架构说明

整体流程图

image.png
image.png

image.png
image.png
image.png
image.png
image.png

知识点总结图

image.png

使用步骤:

1)关闭防火墙+启动docker后台服务
2)新建6个docker容器redis实例
3)进入容器redis-node-1并为6台机器构建集群关系
4)链接进入6381作为切入点,查看集群状态

注意点说明

注意点1:

问题:执行命令systemctl start docker启动docker报错如图?

image.png

答案:未关闭防火墙

注意点2:

  • 新建6个docker容器redis实例
docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381
docker run -d --name redis-node-2 --net host --privileged=true -v /data/redis/share/redis-node-2:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6382
docker run -d --name redis-node-3 --net host --privileged=true -v /data/redis/share/redis-node-3:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6383
docker run -d --name redis-node-4 --net host --privileged=true -v /data/redis/share/redis-node-4:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6384
docker run -d --name redis-node-5 --net host --privileged=true -v /data/redis/share/redis-node-5:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6385
docker run -d --name redis-node-6 --net host --privileged=true -v /data/redis/share/redis-node-6:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6386

image.png

  • 补充说明:
    image.png

注意点3:
进入容器redis-node-1并为6台机器构建集群关系

  • 进入容器
    执行命令docker exec -it redis-node-1 /bin/bash
  • 构建主从关系
//注意,进入docker容器后才能执行一下命令,且注意自己的真实IP地址
redis-cli --cluster create 192.168.111.147:6381 192.168.111.147:6382 192.168.111.147:6383 192.168.111.147:6384 192.168.111.147:6385 192.168.111.147:6386 --cluster-replicas 1

--cluster-replicas 1 表示为每个master创建一个slave节点

image.png
image.png

  • 一切OK的话,3主3从搞定

注意点4:

  • 链接进入6381作为切入点,查看集群状态
    image.png

  • 命令查看集群状态+查看节点状态
    查看集群状态cluster info
    查看节点状态cluster nodes

    1.2.3主从容错切换迁移案例

    知识点总结图

    image.png

数据读写存储

使用步骤:

1)启动6机构成的集群并通过exec进入
2)对6381新增两个key
3)防止路由失效加参数-c并新增两个key
4)查看集群信息

注意点说明:

注意点1:
Redis客户端命令:
不开启集群模式redis-cli -p 端口号
开启集群模式redis-cli -p 端口号 -c

查询所有key命令keys *(中间有空格)
清空所有key命令flushdb

注意点2:
步骤3中防止路由失效加参数-c并新增两个key
image.png

注意点3:
步骤4中查看集群信息

redis-cli --cluster check 192.168.111.147:6381

image.png
image.png

容错切换迁移

使用步骤:

1)主6381和从机切换,先停止主机6381
2)再次查看集群信息
3)先还原之前的3主3从
4)查看集群信息

注意点说明:

注意点1:
步骤2中,停止6381主机后再次查看集群信息
image.png

注意点2:
步骤3中先还原之前的3主3从
先启6381 -> 再停6385 -> 再启6385
image.png

注意点3:
查看集群状态,命令redis-cli --cluster check 自己IP:6381

注意点4:

问题:redis-node-4目前是主机,当redis-node-1重新启动时,redis-node-4是让位由主机变为备机,redis-node-1当主机,还是说redis-node-4依然是主机,新启动的redis-node-1是备机?

答案:redis-node-4依然是主机,redis-node-1变为备机。

1.2.4主从扩容案例

知识点总结图

image.png

使用步骤:

1)新建6387、6388两个节点+新建后启动+查看是否8节点
2)进入6387容器实例内部,docker exec -it redis-node-7 /bin/bash
3)将新增的6387节点(空槽号)作为master节点加入原集群
4)检查集群情况第1次
5)重新分派槽号
6)检查集群情况第2次
7)为主节点6387分配从节点6388
8)检查集群情况第3次

注意点说明:

注意点0:

问题:当前是3主3从,我想新加1主1从,那么之前已经分配好的哈希槽3段区间会如何变化?槽位如何分配呢?分多少过去呢?是大家按比例给它还是按人头AA?

答案:重新执行命令,重新分配槽号,按照的是大家按比例给它,不是AA,因为重新AA分配成本太高了。
image.png

注意点1:
步骤1中新建6387、6388两个节点+新建后启动+查看是否8节点

docker run -d --name redis-node-7 --net host --privileged=true -v /data/redis/share/redis-node-7:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6387
docker run -d --name redis-node-8 --net host --privileged=true -v /data/redis/share/redis-node-8:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6388
docker ps

注意点2:
步骤2中进入6387容器实例内部,执行命令docker exec -it redis-node-7 /bin/bash

注意点3:
步骤3中将新增的6387节点(空槽号)作为master节点加入原集群

将新增的6387作为master节点加入集群
redis-cli --cluster add-node 自己实际IP地址:6387 自己实际IP地址:6381
6387 就是将要作为master新增节点
6381 就是原来集群节点里面的领路人,相当于6387拜拜6381的码头从而找到组织加入集群

image.png

注意点4:
步骤4中检查集群情况第1次

redis-cli --cluster check 真实ip地址:6381

image.png

注意点5:
步骤5中重新分派槽号

重新分派槽号
命令:redis-cli --cluster reshard IP地址:端口号
redis-cli --cluster reshard 192.168.111.147:6381

image.png
image.png

注意点6:
步骤6中检查集群情况第2次,槽号分派说明

为什么63873个新的区间,以前的还是连续?
重新分配成本太高,所以前3家各自匀出来一部分,从6381/6382/6383三个旧节点分别匀出1364个坑位给新节点6387

image.png

注意点7:
步骤7中为主节点6387分配从节点6388

命令:redis-cli --cluster add-node ip:新slave端口 ip:新master端口 --cluster-slave --cluster-master-id 新主机节点ID
redis-cli --cluster add-node 192.168.111.147:6388 192.168.111.147:6387 --cluster-slave --cluster-master-id e4781f644d4a4e4d4b4d107157b9ba8144631451-------这个是6387的编号,按照自己实际情况

image.png

注意点8:
步骤8中检查集群情况第3次

redis-cli --cluster check 192.168.111.147:6382

在这里插入图片描述

1.2.5主从缩容案例

知识点总结图

image.png

使用步骤:

1)目的:6387和6388下线
2)检查集群情况1获得6388的节点ID
3)将6388删除,从集群中将4号从节点6388删除
4)将6387的槽号清空,重新分配,本例将清出来的槽号都给6381
5)检查集群情况第二次
6)将6387删除
7)检查集群情况第三次

注意点说明:

注意点1:

问题1:当前是4主4从,我现在要变回3主3从,那删掉的哈希槽区间是按照之前的原路返回给3主?还是一致性全给某一个主机?

答案:最好重复3次分配给3台,但是视频中了为了省事,统一把所有分配给单一主机6381了。

问题2:是先删6387主机,还是先删6388从机?

答案:先从6388从机删,因为主机支持读写,可能删除过成功还用得到,保险起见先删从机,再删主机。

注意点2:
步骤2中检查集群情况1获得6388的节点ID

redis-cli --cluster check 192.168.111.147:6382

image.png

注意点3:
步骤3中将6388删除,从集群中将4号从节点6388删除

redis-cli --cluster del-node 192.168.111.147:6388 5d149074b7e57b802287d1797a874ed7a1a284a8

image.png

redis-cli --cluster check 192.168.111.147:6382
 检查一下发现,6388被删除了,只剩下7台机器了。

image.png

注意点4:
步骤4中将6387的槽号清空,重新分配,本例将清出来的槽号都给6381

redis-cli --cluster reshard 192.168.111.147:6381

image.png
image.png

注意点5:
步骤5中检查集群情况第二次

redis-cli --cluster check 192.168.111.147:6381
4096个槽位都指给6381,它变成了8192个槽位,相当于全部都给6381了,不然要输入3次,一锅端

image.png

注意点6:
步骤6中将6387删除

命令:redis-cli --cluster del-node ip:端口 6387节点ID
redis-cli --cluster del-node 192.168.111.147:6387 e4781f644d4a4e4d4b4d107157b9ba8144631451

image.png

注意点7:
步骤7中检查集群情况第三次

redis-cli --cluster check 192.168.111.147:6381

image.png

注意点8:

问题:重新分配哈希槽的all和done都是啥?

答案
image.png

本人其他相关文章链接

1.《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群
2.《docker高级篇(大厂进阶):2.DockerFile解析》包括:是什么、DockerFile构建过程解析、DockerFile常用保留字指令、案例、小总结
3.《docker高级篇(大厂进阶):3.Docker微服务实战》
4.《docker高级篇(大厂进阶):4.Docker网络》包括:是什么、常用基本命令、能干嘛、网络模式、docker平台架构图解
5.《docker高级篇(大厂进阶):5.Docker-compose容器编排》包括是什么能干嘛去哪下、Compose核心概念、Compose使用三个步骤、Compose常用命令、Compose编排微服务
6.《docker高级篇(大厂进阶):6.Docker轻量级可视化工具Portainer》
7.《docker高级篇(大厂进阶):7.Docker容器监控之CAdvisor+InfluxDB+Granfana》包括:原生命令、是什么、compose容器编排,一套带走
8.docker基础篇:安装tomcat
9.docker基础篇:安装mysql单机版
10.docker基础篇:安装redis单机版
11.docker高级篇(大厂进阶):安装mysql主从复制
12.docker高级篇(大厂进阶):安装redis集群
image.png

重要信息

image.png
image.png

目录
相关文章
|
6天前
|
存储 运维 安全
云上金融量化策略回测方案与最佳实践
2024年11月29日,阿里云在上海举办金融量化策略回测Workshop,汇聚多位行业专家,围绕量化投资的最佳实践、数据隐私安全、量化策略回测方案等议题进行深入探讨。活动特别设计了动手实践环节,帮助参会者亲身体验阿里云产品功能,涵盖EHPC量化回测和Argo Workflows量化回测两大主题,旨在提升量化投研效率与安全性。
云上金融量化策略回测方案与最佳实践
|
8天前
|
人工智能 自然语言处理 前端开发
从0开始打造一款APP:前端+搭建本机服务,定制暖冬卫衣先到先得
通义灵码携手科技博主@玺哥超carry 打造全网第一个完整的、面向普通人的自然语言编程教程。完全使用 AI,再配合简单易懂的方法,只要你会打字,就能真正做出一个完整的应用。
8206 19
|
12天前
|
Cloud Native Apache 流计算
资料合集|Flink Forward Asia 2024 上海站
Apache Flink 年度技术盛会聚焦“回顾过去,展望未来”,涵盖流式湖仓、流批一体、Data+AI 等八大核心议题,近百家厂商参与,深入探讨前沿技术发展。小松鼠为大家整理了 FFA 2024 演讲 PPT ,可在线阅读和下载。
4436 10
资料合集|Flink Forward Asia 2024 上海站
|
20天前
|
人工智能 自动驾驶 大数据
预告 | 阿里云邀您参加2024中国生成式AI大会上海站,马上报名
大会以“智能跃进 创造无限”为主题,设置主会场峰会、分会场研讨会及展览区,聚焦大模型、AI Infra等热点议题。阿里云智算集群产品解决方案负责人丛培岩将出席并发表《高性能智算集群设计思考与实践》主题演讲。观众报名现已开放。
|
12天前
|
自然语言处理 数据可视化 API
Qwen系列模型+GraphRAG/LightRAG/Kotaemon从0开始构建中医方剂大模型知识图谱问答
本文详细记录了作者在短时间内尝试构建中医药知识图谱的过程,涵盖了GraphRAG、LightRAG和Kotaemon三种图RAG架构的对比与应用。通过实际操作,作者不仅展示了如何利用这些工具构建知识图谱,还指出了每种工具的优势和局限性。尽管初步构建的知识图谱在数据处理、实体识别和关系抽取等方面存在不足,但为后续的优化和改进提供了宝贵的经验和方向。此外,文章强调了知识图谱构建不仅仅是技术问题,还需要深入整合领域知识和满足用户需求,体现了跨学科合作的重要性。
|
8天前
|
人工智能 容器
三句话开发一个刮刮乐小游戏!暖ta一整个冬天!
本文介绍了如何利用千问开发一款情侣刮刮乐小游戏,通过三步简单指令实现从单个功能到整体框架,再到多端优化的过程,旨在为生活增添乐趣,促进情感交流。在线体验地址已提供,鼓励读者动手尝试,探索编程与AI结合的无限可能。
三句话开发一个刮刮乐小游戏!暖ta一整个冬天!
|
1月前
|
存储 人工智能 弹性计算
阿里云弹性计算_加速计算专场精华概览 | 2024云栖大会回顾
2024年9月19-21日,2024云栖大会在杭州云栖小镇举行,阿里云智能集团资深技术专家、异构计算产品技术负责人王超等多位产品、技术专家,共同带来了题为《AI Infra的前沿技术与应用实践》的专场session。本次专场重点介绍了阿里云AI Infra 产品架构与技术能力,及用户如何使用阿里云灵骏产品进行AI大模型开发、训练和应用。围绕当下大模型训练和推理的技术难点,专家们分享了如何在阿里云上实现稳定、高效、经济的大模型训练,并通过多个客户案例展示了云上大模型训练的显著优势。
104585 10
|
7天前
|
消息中间件 人工智能 运维
12月更文特别场——寻找用云高手,分享云&AI实践
我们寻找你,用云高手,欢迎分享你的真知灼见!
650 40
|
5天前
|
弹性计算 运维 监控
阿里云云服务诊断工具:合作伙伴架构师的深度洞察与优化建议
作为阿里云的合作伙伴架构师,我深入体验了其云服务诊断工具,该工具通过实时监控与历史趋势分析,自动化检查并提供详细的诊断报告,极大提升了运维效率和系统稳定性,特别在处理ECS实例资源不可用等问题时表现突出。此外,它支持预防性维护,帮助识别潜在问题,减少业务中断。尽管如此,仍建议增强诊断效能、扩大云产品覆盖范围、提供自定义诊断选项、加强教育与培训资源、集成第三方工具,以进一步提升用户体验。
632 243
|
2天前
|
弹性计算 运维 监控
云服务测评 | 基于云服务诊断全方位监管云产品
本文介绍了阿里云的云服务诊断功能,包括健康状态和诊断两大核心功能。作者通过个人账号体验了该服务,指出其在监控云资源状态和快速排查异常方面的优势,同时也提出了一些改进建议,如增加告警配置入口和扩大诊断范围等。

热门文章

最新文章