docker-compose部署mongodb4.4.8副本集群 + 权限 + springBoot集成测试

简介: docker-compose部署mongodb4.4.8副本集群 + 权限 + springBoot集成测试

3种集群模式参考链接:http: //c.biancheng.net/view/6567.html

MongoDB 有三种集群部署模式

分别为主从复制(Master-Slaver)、副本集(Replica Set)和分片(Sharding)模式。

  • Master-Slaver 是一种主从副本的模式,目前已经不推荐使用。
  • Replica Set 模式取代了 Master-Slaver 模式,是一种互为主从的关系。Replica Set 将数据复制多份保存,不同服务器保存同一份数据,在出现故障时自动切换,实现故障转移,在实际生产中非常实用。
  • Sharding 模式适合处理大量数据,它将数据分开存储,不同服务器保存不同的数据,所有服务器数据的总和即为整个数据集。

Sharding 模式追求的是高性能,而且是三种集群中最复杂的。在实际生产环境中,通常将 Replica Set 和 Sharding 两种技术结合使用。

在实际生产环境中,副本集和分片是结合起使用的,可满足实际应用场景中高可用性和高可扩展性的需求。
但是对于我来说,目前只需要用到副本集集群做到故障自动切换、实现高可用,以及支持多文档事务操作即可;

搭建实操

整体集群模式实战参考链接:

Linux:http: //c.biancheng.net/view/6568.html

docker:https://segmentfault.com/a/1190000039142073

副本集搭建

docker-compose部署参考链接:

https://www.cnblogs.com/ricklz/p/13237419.html

http://monkeywie.cn/2020/03/10/mongodb-replica-set/?utm_source=tuicool&utm_medium=referral

搭建过程

# 创建挂载需要用到的文件夹(可自定义路径)
# 线上最好分不同的机器搭建,我测试暂时搭建在一台机器上
mkdir -p /ecsmount/docker/mongo-replica-cluster/{mongo-replica-1/{data/db,conf},mongo-replica-2/{data/db,conf},mongo-replica-3/{data/db,conf}}

# 生成auth.key, 用于多节点之间的认证
cd /ecsmount/docker/mongo-replica-cluster
openssl  rand -base64  756  > ./auth.key
# 权限设置,为必要步骤
# chown mongodb:mongodb ./auth.key
chown systemd-bus-proxy:ssh_keys ./conf/auth.key
chmod 400 ./auth.key  

cp ./auth.key  ./mongo-replica-1/conf
cp ./auth.key  ./mongo-replica-2/conf
cp ./auth.key  ./mongo-replica-3/conf
rm -rf ./auth.key

分别写三个 docker-compose.yml

version: '3.6'
services:
  mongo-replica-1:
    restart: always
    # build: .
    image: mongo:4.4.8-rc0-focal
    container_name: mongo-replica-1  # 容器名,不同副本使用不同名字
    ports:
      - 27117:27017       # 外部映射端口改为自定义的端口
    volumes:
      # 数据目录  挂载出来后,即使删除容器,再用该挂载数据与docker-compose.yml文件启动容器,即可恢复到原来的数据以及用户信息
      - ./data/db:/data/db
      # 自定义数据备份目录,可以定时全量备份数据出来
      - ./mybackup:/mybackup
      # conf文件夹
      - ./conf:/conf
      
      - /etc/localtime:/etc/localtime
    environment:
      # 配置root用户, 只需要在第一台机器中配置即可(也可以都配置成一样的,如果不一样,效果未知,可以自己测试一下),其他副本集节点会自动同步过去
      - MONGO_INITDB_ROOT_USERNAME=root
      - MONGO_INITDB_ROOT_PASSWORD=123

      - TZ=Asia/Shanghai
      # 缓存大小配置为使用 1.5GB , 考虑服务器中还有其他服务需要占用内存,可自定义大小
      - wiredTigerCacheSizeGB=1.5

   
    # 执行命令,覆盖默认命令
    # --replSet rs  指定副本集名称为rs
    # --keyFile /conf/auth.key  各节点使用一个key进行认证
    command: mongod --replSet rs --keyFile /conf/auth.key 
   
    # 使用springBoot连接测试后,才知道还好提前配置了hosts, 建议在rs.initiate() 初始化集群时直接写host,不要写局网ip,后面测试时遇到坑也会在后面写到
    # 容器中的hosts配置,自定义host与服务器局网IP映射
    extra_hosts:
     - "server-d-1:172.16.218.205"
     - "server-d-2:172.16.0.84"

启动完成后执行初始化命令

docker exec -it mongo-replica-1 bash
mongo 
use admin  
db.auth("root","123")     # rs的相关方法需要先登录才能使用
rs.initiate({ _id: "rs", members: [{_id:1,host:"172.16.0.84:27117"},{_id:2,host:"172.16.0.84:27217"},{_id:3,host:"172.16.0.84:27317"}]})
rs.status()

在这里插入图片描述

rs.status() 效果:

在这里插入图片描述

#移除节点
rs.remove("172.16.0.84:27317");
# mongo副本集的最小推荐配置是三台,如果服务器资源不够,可以将第三台设置为仲裁节点(仲裁节点只参与投票,不同步数据)
rs.addArb("172.16.0.84:27317");
# 或者是在初始化时就直接将第三台设置为仲裁节点,关键参数:arbiterOnly:true
rs.initiate({ _id: "rs", members: [{_id:1,host:"172.16.0.84:27117"},{_id:2,host:"172.16.0.84:27217"},{_id:3,host:"172.16.0.84:27317", arbiterOnly:true}]})

搭建成功后的补充:关于认证文件的权限设置的说明

  • 方法一:直接在宿主机设置(推荐)
1、在mongo容器中需要设置权限: <=400    (直接在宿主机中设置好即可)
chmod 400 ./auth.key

2、在mongo容器中需要设置的用户与组: mongodb:mongodb
# 但是我们还没启动容器,只能在宿主机中先设置为:systemd-bus-proxy:ssh_keys
chown   systemd-bus-proxy:ssh_keys  ./auth.key
# 启动容器后,发现容器内该文件的  用户:用户组 映射为了  mongodb:mongodb

  • 方法二:使用 Entrypoint(未测试)

    Entrypoint设置在运行容器时,首先执行的命令和参数。

    # 在 docker-compose.yml 中可以定义接入点,覆盖 Dockerfile 中的定义
    # 注意是覆盖,确认原镜像中被覆盖没问题的话,可以按其他博主的方法写在 docker-compose.yml中:
        command: mongod --replSet mongos --keyFile /data/mongodb.key
        restart: always
        entrypoint:
          - bash
          - -c
          - |
            chmod 400 /data/mongodb.key
            chown 999:999 /data/mongodb.key
            exec docker-entrypoint.sh $$@
    # 该配置片段取自:https://www.cnblogs.com/ricklz/p/13237419.html        

搭建过程常用命令

# 停止并删除容器,清空容器挂载数据
docker-compose down
rm -rf ./data/db/*

副本无法查询 :not master and slaveOk=false

因为SECONDARY默认是不允许读写的,

https://stackoverflow.com/questions/8990158/mongodb-replicates-and-error-err-not-master-and-slaveok-false-code

在这里插入图片描述

设置方法:

# 两种方法都是一样的效果, 每次mongo 会话都要设置一次
db.getMongo().setSecondaryOk()
rs.secondaryOk();

在其他机器部署新增节点

# 当前服务器(server-d-2)     新机器(server-d-1) 
# 在新机器上创建目录
mkdir -p /ecsmount/docker/mongo-replica-cluster/mongo-replica-4/{data/db,conf}

# 新机器需要 auth.key 与 docker-compose.yml 两个文件即可
# 在server-d-2机器上复制以上2个文件到新机器中
scp -P 50148 ./docker-compose.yml  root@server-d-1:/ecsmount/docker/mongo-replica-cluster/mongo-replica-4/
scp -P 50148 ./conf/auth.key   root@server-d-1:/ecsmount/docker/mongo-replica-cluster/mongo-replica-4/conf/

# 在新机器上检查文件auth.key 权限,一定要设置文件权限
chown systemd-bus-proxy:ssh_keys ./conf/auth.key
chmod 400 ./conf/auth.key  

# 修改新机器上的docker-compose.yml中的容器名与外部端口(新机器上不冲突,非必要,但建议还是区分开来)
container_name: mongo-replica-4  # 容器名,不同副本使用不同名字
ports:
  - 27417:27017                    # 第四个节点

# 新机器上启动后,进入主机PRIMARY中执行添加节点的操作
rs.add("172.16.218.205:27417")    # 这个是我新机器的ip地址
rs.status()   

在这里插入图片描述

在服务器中登陆mondo测试

1、在主节点测试写入、修改、删除数据,是否能同步到其他节点查询到;
2、手动停止主节点容器,观察从节点是否有重新选举主节点;
3、在新的主节点中插入、修改、新增数据,然后启动之前的主节点,观察启动后是否同步了最新的数据过来;
# 过程太繁琐,截图:略!

在springBoot中测试

yml连接配置

spring:
  application:
    name: springboot-mongodb
  data:
    mongodb:
      uri: mongodb://imAdmin:123456@server-d-2:27117,server-d-2:27217/im?replicaSet=rs   # 副本集群主机单节点负责读写
# 关于读写分离的配置,其他博主也有分享一些方案,但是鉴于 “副本滞后” 的影响,结合自己业务情况,决定还是使用单机节点负责读与写,副本节点负责数据同步备份。

跑测试类时报错:

在这里插入图片描述在这里插入图片描述

修改集群配置,将局网IP使用host替换

参考链接:mongodb集群修改IP地址 https://blog.csdn.net/wangkai_123456/article/details/109512009

docker  exec -it  mongo-replica-1   bash
cat /etc/hosts   # 确认hosts配置中是否有自己配置的host

# 查看当前配置,准备修改
cfg = rs.conf()
# 修改三个节点的host(把局网IP替换成对应的host)
cfg.members[0].host = "server-d-2:27117"
cfg.members[1].host = "server-d-2:27217"
cfg.members[2].host = "server-d-1:27417"
# 确认修改后的配置
cfg 
# 保存配置
rs.reconfig(cfg)

修改前截图:

在这里插入图片描述

修改后截图 rs.status()

在这里插入图片描述

查看各个容器日志,正常!继续跑test测试类,正常!!!

在这里插入图片描述

在这里插入图片描述

相关文章
|
8月前
|
人工智能 Java 测试技术
Spring Boot 集成 JUnit 单元测试
本文介绍了在Spring Boot中使用JUnit 5进行单元测试的常用方法与技巧,包括添加依赖、编写测试类、使用@SpringBootTest参数、自动装配测试模块(如JSON、MVC、WebFlux、JDBC等),以及@MockBean和@SpyBean的应用。内容实用,适合Java开发者参考学习。
953 0
|
4月前
|
Java 测试技术 数据库连接
【SpringBoot(四)】还不懂文件上传?JUnit使用?本文带你了解SpringBoot的文件上传、异常处理、组件注入等知识!并且带你领悟JUnit单元测试的使用!
Spring专栏第四章,本文带你上手 SpringBoot 的文件上传、异常处理、组件注入等功能 并且为你演示Junit5的基础上手体验
995 2
|
XML Java 应用服务中间件
SpringBoot-打包&部署
SpringBoot 项目支持两种打包方式:WAR 包和 JAR 包。JAR 包内置 Tomcat,可直接运行;WAR 包需部署在外部 Tomcat 上。JAR 包通过 `mvn clean package` 打包并用 `java -jar` 运行,支持后台运行和 JVM 参数配置。WAR 包需修改 pom.xml 为 war 类型,移除嵌入式 Tomcat 依赖,添加 servlet-api,并继承 `SpringBootServletInitializer`。配置文件可通过外部 application.yml 覆盖,默认优先级高于 JAR 内部配置。
1298 17
SpringBoot-打包&部署
|
10月前
|
安全 Java 持续交付
如何实现上传jar直接部署成功,这篇文章直接带你上手springboot实现jar包热更新!
本文详细讲解了在Spring Boot应用中实现Jar包热更新的实践方法。通过自定义类加载器(`HotClassLoader`),动态加载和卸载指定目录下的Jar包,结合Spring Bean动态注册机制,使新加载的类能够被Spring容器管理。同时,提供了文件上传接口,方便用户手动触发Jar包更新。文章还强调了安全性、依赖管理和线程安全等注意事项,并给出了测试步骤和总结,帮助开发者高效实现热更新功能,减少服务中断和提升开发效率。
|
8月前
|
存储 Kubernetes 监控
Docker与Kubernetes集成挑战及方案
面对这些挑战,并不存在一键解决方案。如同搭建灌溉系统需要考虑多种因素,集成Docker与Kubernetes也需要深思熟虑的规划、相当的技术知识和不断的调试。只有这样,才能建立起一个稳定、健康、高效的Docker-Kubernetes生态,让你的应用像花园中的植物一样繁荣生长。
373 63
|
7月前
|
Java Linux 网络安全
Linux云端服务器上部署Spring Boot应用的教程。
此流程涉及Linux命令行操作、系统服务管理及网络安全知识,需要管理员权限以进行配置和服务管理。务必在一个测试环境中验证所有步骤,确保一切配置正确无误后,再将应用部署到生产环境中。也可以使用如Ansible、Chef等配置管理工具来自动化部署过程,提升效率和可靠性。
735 13
|
10月前
|
前端开发 Java 物联网
智慧班牌源码,采用Java + Spring Boot后端框架,搭配Vue2前端技术,支持SaaS云部署
智慧班牌系统是一款基于信息化与物联网技术的校园管理工具,集成电子屏显示、人脸识别及数据交互功能,实现班级信息展示、智能考勤与家校互通。系统采用Java + Spring Boot后端框架,搭配Vue2前端技术,支持SaaS云部署与私有化定制。核心功能涵盖信息发布、考勤管理、教务处理及数据分析,助力校园文化建设与教学优化。其综合性和可扩展性有效打破数据孤岛,提升交互体验并降低管理成本,适用于日常教学、考试管理和应急场景,为智慧校园建设提供全面解决方案。
596 70
|
8月前
|
人工智能 Java 测试技术
SpringBoot 测试实践:单元测试与集成测试
在 Spring Boot 测试中,@MockBean 用于创建完全模拟的 Bean,替代真实对象行为;而 @SpyBean 则用于部分模拟,保留未指定方法的真实实现。两者结合 Mockito 可灵活控制依赖行为,提升测试覆盖率。合理使用 @ContextConfiguration 和避免滥用 @SpringBootTest 可优化测试上下文加载速度,提高测试效率。
431 5
|
7月前
|
Java 测试技术 Spring
简单学Spring Boot | 博客项目的测试
本内容介绍了基于Spring Boot的博客项目测试实践,重点在于通过测试驱动开发(TDD)优化服务层代码,提升代码质量和功能可靠性。案例详细展示了如何为PostService类编写测试用例、运行测试并根据反馈优化功能代码,包括两次优化过程。通过TDD流程,确保每项功能经过严格验证,增强代码可维护性与系统稳定性。
315 0
|
7月前
|
Prometheus 监控 Cloud Native
Docker 部署 Prometheus 和 Grafana 监控 Spring Boot 服务
Docker 部署 Prometheus 和 Grafana 监控 Spring Boot 服务实现步骤
695 0