《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群

简介: 《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群

image.png

@[toc]

二、高级篇(大厂进阶)

1.Docker复杂安装详说

1.1安装mysql主从复制

image.png

主从搭建步骤:
1)新建主服务器容器实例3307
2)进入/mydata/mysql-master/conf目录下新建my.cnf
3)修改完配置后重启master实例
4)进入mysql-master容器
5)master容器实例内创建数据同步用户
6)新建从服务器容器实例3308
7)进入/mydata/mysql-slave/conf目录下新建my.cnf
8)修改完配置后重启slave实例
9)在主数据库中查看主从同步状态
10)进入mysql-slave容器
11)在从数据库中配置主从复制
12)在从数据库中查看主从同步状态
13)在从数据库中开启主从同步
14)查看从数据库状态发现已经同步
15)主从复制测试

注意点1:
步骤1中新建主服务器容器实例3307

docker run -p 3307:3306 --name mysql-master \
-v /mydata/mysql-master/log:/var/log/mysql \
-v /mydata/mysql-master/data:/var/lib/mysql \
-v /mydata/mysql-master/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root  \
-d mysql:5.7

注意点2:
步骤2中进入/mydata/mysql-master/conf目录下新建my.cnf -> vim my.cnf

[mysqld]
## 设置server_id,同一局域网中需要唯一
server_id=101 
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql  
## 开启二进制日志功能
log-bin=mall-mysql-bin  
## 设置二进制日志使用内存大小(事务)
binlog_cache_size=1M  
## 设置使用的二进制日志格式(mixed,statement,row)
binlog_format=mixed  
## 二进制日志过期清理时间。默认值为0,表示不自动清理。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。
## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
slave_skip_errors=1062

注意点3:
步骤3中修改完配置后重启master实例
执行命令docker restart mysql-master

注意点4:
步骤4中进入mysql-master容器
执行命令
docker exec -it mysql-master /bin/bash
mysql -uroot -proot

注意点5:
步骤5中master容器实例内创建数据同步用户
执行命令
在主库创建同步账户 SlaveCREATE USER 'slave'@'%' IDENTIFIED BY '123456';
添加账户权限GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';

注意点6:
步骤6中新建从服务器容器实例3308

docker run -p 3308:3306 --name mysql-slave \
-v /mydata/mysql-slave/log:/var/log/mysql \
-v /mydata/mysql-slave/data:/var/lib/mysql \
-v /mydata/mysql-slave/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root  \
-d mysql:5.7

注意点7:
步骤7中进入/mydata/mysql-slave/conf目录下新建my.cnf -> vim my.cnf

[mysqld]
## 设置server_id,同一局域网中需要唯一
server_id=102
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql  
## 开启二进制日志功能,以备Slave作为其它数据库实例的Master时使用
log-bin=mall-mysql-slave1-bin  
## 设置二进制日志使用内存大小(事务)
binlog_cache_size=1M  
## 设置使用的二进制日志格式(mixed,statement,row)
binlog_format=mixed  
## 二进制日志过期清理时间。默认值为0,表示不自动清理。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。
## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
slave_skip_errors=1062  
## relay_log配置中继日志
relay_log=mall-mysql-relay-bin  
## log_slave_updates表示slave将复制事件写进自己的二进制日志
log_slave_updates=1  
## slave设置为只读(具有super权限的用户除外)
read_only=1

注意点8:
步骤8中修改完配置后重启slave实例
执行命令docker restart mysql-slave

注意点9:
步骤9中在主数据库中查看主从同步状态
执行命令show master status;
image.png

注意点10:
步骤10中进入mysql-slave容器
执行命令
docker exec -it mysql-slave /bin/bash
mysql -uroot -proot

注意点11:
步骤11中在从数据库中配置主从复制

change master to master_host='宿主机ip', master_user='slave', master_password='123456', master_port=3307, master_log_file='mall-mysql-bin.000001', master_log_pos=617, master_connect_retry=30;

image.png

主从复制命令参数说明
image.png

注意点12:
步骤12中在从数据库中查看主从同步状态
执行命令show slave status \G;
image.png

问题:加\G和不加的展示区别?

答案:\G类似于K V展示的那种,而不加\G类似放到一行展示的那种,详情对比图请看注意点9和注意点12。

注意点13:
步骤13中在从数据库中开启主从同步
image.png

注意点14:
步骤14中查看从数据库状态发现已经同步
image.png

注意点15:
步骤15中主从复制测试

  • 首先主机新建库-使用库-新建表-插入数据,ok
    image.png

  • 然后从机使用库-查看记录,ok
    image.png

1.2安装redis集群

image.png

1.2.1面试题:1~2亿条数据需要缓存,请问如何设计这个存储案例

image.png

问题:1~2亿条数据需要缓存,请问如何设计这个存储案例

答案:3种方法
1)哈希取余分区
2)一致性哈希算法分区
3)哈希槽分区

哈希取余分区

image.png

image.png

问题:这种方案缺点是啥?

答案:
image.png

一致性哈希算法分区
  • 一致性哈希算法分区是什么
    image.png

  • 能干嘛
    image.png

  • 3大步骤
    3大步骤:
    1)算法构建一致性哈希环
    2)服务器IP节点映射
    3)key落到服务器的落键规则

算法构建一致性哈希环

image.png

问题:为啥是2^32?

答案:因为hash值是32位的

服务器IP节点映射
image.png

key落到服务器的落键规则
image.png

  • 优点
    一致性哈希算法的容错性
    image.png

一致性哈希算法的扩展性
image.png

  • 缺点
    一致性哈希算法的数据倾斜问题
    image.png

  • 小总结
    image.png

哈希槽分区

问题:哈希槽分区是什么?

答案
image.png

  • 哈希槽计算
    image.png

经典面试题:

image.png

问题:为什么redis集群的最大槽数是16384个?

答案
image.png
image.png
image.png
image.png

1.2.2 3主3从redis集群扩缩容配置案例架构说明

整体流程图

image.png
image.png
image.png
image.png
image.png
image.png
image.png

知识点总结图

image.png

使用步骤:

1)关闭防火墙+启动docker后台服务
2)新建6个docker容器redis实例
3)进入容器redis-node-1并为6台机器构建集群关系
4)链接进入6381作为切入点,查看集群状态

注意点说明

注意点1:

问题:执行命令systemctl start docker启动docker报错如图?

image.png

答案:未关闭防火墙

注意点2:

  • 新建6个docker容器redis实例
docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381
docker run -d --name redis-node-2 --net host --privileged=true -v /data/redis/share/redis-node-2:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6382
docker run -d --name redis-node-3 --net host --privileged=true -v /data/redis/share/redis-node-3:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6383
docker run -d --name redis-node-4 --net host --privileged=true -v /data/redis/share/redis-node-4:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6384
docker run -d --name redis-node-5 --net host --privileged=true -v /data/redis/share/redis-node-5:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6385
docker run -d --name redis-node-6 --net host --privileged=true -v /data/redis/share/redis-node-6:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6386

image.png

  • 补充说明:
    image.png

注意点3:
进入容器redis-node-1并为6台机器构建集群关系

  • 进入容器
    执行命令docker exec -it redis-node-1 /bin/bash
  • 构建主从关系
//注意,进入docker容器后才能执行一下命令,且注意自己的真实IP地址
redis-cli --cluster create 192.168.111.147:6381 192.168.111.147:6382 192.168.111.147:6383 192.168.111.147:6384 192.168.111.147:6385 192.168.111.147:6386 --cluster-replicas 1

--cluster-replicas 1 表示为每个master创建一个slave节点

image.png
image.png

  • 一切OK的话,3主3从搞定

注意点4:

  • 链接进入6381作为切入点,查看集群状态
    image.png

  • 命令查看集群状态+查看节点状态
    查看集群状态cluster info
    查看节点状态cluster nodes

    1.2.3主从容错切换迁移案例

    知识点总结图

    image.png

数据读写存储
使用步骤:

1)启动6机构成的集群并通过exec进入
2)对6381新增两个key
3)防止路由失效加参数-c并新增两个key
4)查看集群信息

注意点说明:

注意点1:
Redis客户端命令:
不开启集群模式redis-cli -p 端口号
开启集群模式redis-cli -p 端口号 -c

查询所有key命令keys *(中间有空格)
清空所有key命令flushdb

注意点2:
步骤3中防止路由失效加参数-c并新增两个key
image.png

注意点3:
步骤4中查看集群信息

redis-cli --cluster check 192.168.111.147:6381

image.png
image.png

容错切换迁移
使用步骤:

1)主6381和从机切换,先停止主机6381
2)再次查看集群信息
3)先还原之前的3主3从
4)查看集群信息

注意点说明:

注意点1:
步骤2中,停止6381主机后再次查看集群信息
image.png

注意点2:
步骤3中先还原之前的3主3从
先启6381 -> 再停6385 -> 再启6385
image.png

注意点3:
查看集群状态,命令redis-cli --cluster check 自己IP:6381

注意点4:

问题:redis-node-4目前是主机,当redis-node-1重新启动时,redis-node-4是让位由主机变为备机,redis-node-1当主机,还是说redis-node-4依然是主机,新启动的redis-node-1是备机?

答案:redis-node-4依然是主机,redis-node-1变为备机。

1.2.4主从扩容案例

知识点总结图

image.png

使用步骤:

1)新建6387、6388两个节点+新建后启动+查看是否8节点
2)进入6387容器实例内部,docker exec -it redis-node-7 /bin/bash
3)将新增的6387节点(空槽号)作为master节点加入原集群
4)检查集群情况第1次
5)重新分派槽号
6)检查集群情况第2次
7)为主节点6387分配从节点6388
8)检查集群情况第3次

注意点说明:

注意点0:

问题:当前是3主3从,我想新加1主1从,那么之前已经分配好的哈希槽3段区间会如何变化?槽位如何分配呢?分多少过去呢?是大家按比例给它还是按人头AA?

答案:重新执行命令,重新分配槽号,按照的是大家按比例给它,不是AA,因为重新AA分配成本太高了。
image.png

注意点1:
步骤1中新建6387、6388两个节点+新建后启动+查看是否8节点

docker run -d --name redis-node-7 --net host --privileged=true -v /data/redis/share/redis-node-7:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6387
docker run -d --name redis-node-8 --net host --privileged=true -v /data/redis/share/redis-node-8:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6388
docker ps

注意点2:
步骤2中进入6387容器实例内部,执行命令docker exec -it redis-node-7 /bin/bash

注意点3:
步骤3中将新增的6387节点(空槽号)作为master节点加入原集群

将新增的6387作为master节点加入集群
redis-cli --cluster add-node 自己实际IP地址:6387 自己实际IP地址:6381
6387 就是将要作为master新增节点
6381 就是原来集群节点里面的领路人,相当于6387拜拜6381的码头从而找到组织加入集群

image.png

注意点4:
步骤4中检查集群情况第1次

redis-cli --cluster check 真实ip地址:6381

image.png

注意点5:
步骤5中重新分派槽号

重新分派槽号
命令:redis-cli --cluster reshard IP地址:端口号
redis-cli --cluster reshard 192.168.111.147:6381

image.png
image.png

注意点6:
步骤6中检查集群情况第2次,槽号分派说明

为什么63873个新的区间,以前的还是连续?
重新分配成本太高,所以前3家各自匀出来一部分,从6381/6382/6383三个旧节点分别匀出1364个坑位给新节点6387

image.png

注意点7:
步骤7中为主节点6387分配从节点6388

命令:redis-cli --cluster add-node ip:新slave端口 ip:新master端口 --cluster-slave --cluster-master-id 新主机节点ID
redis-cli --cluster add-node 192.168.111.147:6388 192.168.111.147:6387 --cluster-slave --cluster-master-id e4781f644d4a4e4d4b4d107157b9ba8144631451-------这个是6387的编号,按照自己实际情况

image.png

注意点8:
步骤8中检查集群情况第3次

redis-cli --cluster check 192.168.111.147:6382

image.png

1.2.5主从缩容案例

知识点总结图

image.png

使用步骤:

1)目的:6387和6388下线
2)检查集群情况1获得6388的节点ID
3)将6388删除,从集群中将4号从节点6388删除
4)将6387的槽号清空,重新分配,本例将清出来的槽号都给6381
5)检查集群情况第二次
6)将6387删除
7)检查集群情况第三次

注意点说明:

注意点1:

问题1:当前是4主4从,我现在要变回3主3从,那删掉的哈希槽区间是按照之前的原路返回给3主?还是一致性全给某一个主机?

答案:最好重复3次分配给3台,但是视频中了为了省事,统一把所有分配给单一主机6381了。

问题2:是先删6387主机,还是先删6388从机?

答案:先从6388从机删,因为主机支持读写,可能删除过成功还用得到,保险起见先删从机,再删主机。

注意点2:
步骤2中检查集群情况1获得6388的节点ID

redis-cli --cluster check 192.168.111.147:6382

image.png

注意点3:
步骤3中将6388删除,从集群中将4号从节点6388删除

redis-cli --cluster del-node 192.168.111.147:6388 5d149074b7e57b802287d1797a874ed7a1a284a8

image.png

redis-cli --cluster check 192.168.111.147:6382
 检查一下发现,6388被删除了,只剩下7台机器了。

image.png

注意点4:
步骤4中将6387的槽号清空,重新分配,本例将清出来的槽号都给6381

redis-cli --cluster reshard 192.168.111.147:6381

image.png
image.png

注意点5:
步骤5中检查集群情况第二次

redis-cli --cluster check 192.168.111.147:6381
4096个槽位都指给6381,它变成了8192个槽位,相当于全部都给6381了,不然要输入3次,一锅端

image.png

注意点6:
步骤6中将6387删除

命令:redis-cli --cluster del-node ip:端口 6387节点ID
redis-cli --cluster del-node 192.168.111.147:6387 e4781f644d4a4e4d4b4d107157b9ba8144631451

image.png

注意点7:
步骤7中检查集群情况第三次

redis-cli --cluster check 192.168.111.147:6381

image.png

注意点8:

问题:重新分配哈希槽的all和done都是啥?

答案
image.png

本人其他相关文章链接

1.《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群
2.《docker高级篇(大厂进阶):2.DockerFile解析》包括:是什么、DockerFile构建过程解析、DockerFile常用保留字指令、案例、小总结
3.《docker高级篇(大厂进阶):3.Docker微服务实战》
4.《docker高级篇(大厂进阶):4.Docker网络》包括:是什么、常用基本命令、能干嘛、网络模式、docker平台架构图解
5.《docker高级篇(大厂进阶):5.Docker-compose容器编排》包括是什么能干嘛去哪下、Compose核心概念、Compose使用三个步骤、Compose常用命令、Compose编排微服务
6.《docker高级篇(大厂进阶):6.Docker轻量级可视化工具Portainer》
7.《docker高级篇(大厂进阶):7.Docker容器监控之CAdvisor+InfluxDB+Granfana》包括:原生命令、是什么、compose容器编排,一套带走
8.docker基础篇:安装tomcat
9.docker基础篇:安装mysql单机版
10.docker基础篇:安装redis单机版
11.docker高级篇(大厂进阶):安装mysql主从复制
12.docker高级篇(大厂进阶):安装redis集群

image.png

重要信息

image.png

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
4月前
|
缓存 NoSQL 关系型数据库
MySQL 与 Redis 如何保证双写一致性?
我是小假 期待与你的下一次相遇 ~
545 7
|
7月前
|
关系型数据库 应用服务中间件 nginx
Docker一键安装中间件(RocketMq、Nginx、MySql、Minio、Jenkins、Redis)
本系列脚本提供RocketMQ、Nginx、MySQL、MinIO、Jenkins和Redis的Docker一键安装与配置方案,适用于快速部署微服务基础环境。
|
4月前
|
存储 NoSQL Redis
手把手教你用 Docker 部署 Redis
Redis是高性能内存数据库,支持多种数据结构,适用于缓存、消息队列等场景。本文介绍如何通过Docker快速拉取轩辕镜像并部署Redis,涵盖快速启动、持久化存储及docker-compose配置,助力开发者高效搭建稳定服务。
1373 7
|
4月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
636 5
|
4月前
|
存储 关系型数据库 MySQL
MySQL Docker 容器化部署全指南
MySQL是一款开源关系型数据库,广泛用于Web及企业应用。Docker容器化部署可解决环境不一致、依赖冲突问题,实现高效、隔离、轻量的MySQL服务运行,支持数据持久化与快速迁移,适用于开发、测试及生产环境。
770 4
|
6月前
|
关系型数据库 MySQL 数据库
为什么 MySQL 不推荐用 Docker 部署?
本文探讨了MySQL是否适合容器化的问题,分析了Docker容器在数据安全、性能瓶颈、状态管理及资源隔离等方面的挑战,并指出目前主流分布式数据库如TDSQL和OceanBase仍倾向于部署在物理机或KVM上。
343 0
|
10月前
|
Ubuntu 关系型数据库 MySQL
在Ubuntu系统的Docker上安装MySQL的方法
以上的步骤就是在Ubuntu系统的Docker上安装MySQL的详细方法,希望对你有所帮助!
1098 12
|
11月前
|
Ubuntu 关系型数据库 MySQL
容器技术实践:在Ubuntu上使用Docker安装MySQL的步骤。
通过以上的操作,你已经步入了Docker和MySQL的世界,享受了容器技术给你带来的便利。这个旅程中你可能会遇到各种挑战,但是只要你沿着我们划定的路线行进,你就一定可以达到目的地。这就是Ubuntu、Docker和MySQL的灵魂所在,它们为你开辟了一条通往新探索的道路,带你亲身感受到了技术的力量。欢迎在Ubuntu的广阔大海中探索,用Docker技术引领你的航行,随时准备感受新技术带来的震撼和乐趣。
444 16
|
关系型数据库 MySQL 数据库
Docker Compose V2 安装常用数据库MySQL+Mongo
以上内容涵盖了使用 Docker Compose 安装和管理 MySQL 和 MongoDB 的详细步骤,希望对您有所帮助。
1106 42
|
关系型数据库 MySQL 数据库
docker高级篇(大厂进阶):安装mysql主从复制
docker高级篇(大厂进阶):安装mysql主从复制
332 24