【私货】MongoDB 副本集的运维部署

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: 【私货】MongoDB 副本集的运维部署

前面几篇文章,我分享了关于MongoDB索引和常见的命令,今天趁给团队分享了MongoDB实战,继续给大家聊聊MongoDB的副本集配置部署。


副本集介绍

什么是副本集?副本集是MongoDB的复制系统,用于将数据同步到各个服务器的过程。

前面的文章中我演示的基本都是单节点mongod服务器,单节点在测试环境还行,但是在线上生产环境就不合适了,因为如果单节点出问题了,会导致应用宕机。

所以这个时候我们可以MongoDB的复制功能,使用多节点进行部署,其中一台服务器节点宕机了,还有其他节点运行,进行故障转移,让应用不会受到影响,从而更为高可用。

说到故障转移,MongoDB最初支持一种叫「主从模式」(master-slave)这种模式下MongoDB不会做自动故障转移的。这种模式现在已经不推荐使用了,这里就不过多介绍了。

由于副本集新增节点或者删除节点都非常方便,建议即使你一开始是单节点也以副本集的方式启动,方便后续进行节点添加。


成员介绍

副本集成员这里主要介绍仲裁者arbiter, 延迟备份节点这两种成员。

说到仲裁者,这里需要说一个副本集成员之间选举主节点过程有一个满足「大多数」原则 即 n/2 + 1 。仲裁者作用就是「参与选举」,不保存数据。解决在一开始我们应用程序量很小的时候,没有资源,不想保存三分及以上数据副本。


rs.add({"_id": 3, "host": "server-3:27017", "arbiterOnly": true})


这里注意:

  1. 最多只能使用一个仲裁者
  2. 奇数节点不需要仲裁者
  3. 尽可能使用奇数个数据节点,不使用仲裁者

说完仲裁者,我们说一下「延迟备份节点」,在给团队内部做分享的时候,我们公司的运维大神专门强调要讲这个,这个是有历史血泪的。

延迟备份节点主要作用避免有人不小心删除了主数据库,或者应用程序有一个严重Bug导致把所有数据玩坏了。为了避免这一类问题,设置一个延迟备份节点。强烈建议线上配置,这是有血泪史的。


rs.add( { _id:4, host: "server-4:27020", priority: 0, hidden:true, slaveDelay:7200, votes:0, buildIndexes:true, arbiterOnly:false } )

其实这也算是一个备份方式之一,保底计划。


副本集初始化


副本集成员启动之后,配置这里我放在最后一节来说,这里我们直接说副本集启动后的初始化操作。

成员初始化操作主要有4个步奏:

  1. 成员在local.me自己创建标志符,删除本地已存在的数据,进行数据同步
  2. 将同步源的所有记录数据克隆到本地,这一步是最耗时的
  3. 将第一个oplog同步中操作记录下来。
  4. 创建索引,同步创建索引期间的所有操作

通过上面的4个步奏,就完成了副本集初始化。


副本集备份

备份的方式简单小结有以下四种方式:

一、 文件系统快照:其中文件系统快照需要文件系统本身支持,mongod开启日记系统,后面我配置会说。

二、 复制数据目录:就是复制数据目录所有文件,在备份我们需要防止数据文件不能发生改变,否则将不可用。

保证数据不变,可以通过


db.fsyncLock() 进行锁定所有数据库,运行之后后续操作会加入队列等待。

cp -R /data/db/* /backup/

db.fsyncUnlock() # 解锁数据库能再次进行写操作

三、mongodump:备份恢复速度较慢,不推荐

四、延迟备份节点: 原则上不算备份策略,但是比较重要通过它来延迟防止数据误操作。


副本集部署


最后我们终于说到了副本集配置,这里我们配置好mongod.conf配置,replaSetName设置为test_rs名,配置如下:

storage:
  dbPath: /test/mongodb/rs1  # 配置路径
  journal:
    enabled: true # 开启日记系统
systemLog:
  destination: file
  logAppend: true
  path: /test/log/mongodb/rs1.log  # 日志
processManagement:
  pidFilePath: /var/run/mongodb/rs1.pid
net:
  port: 27018
  bindIp: 1.2.3.4 # 绑定固定IP
replication:
   replSetName: "test_rs" # 选定配置名
security:
  authorization: enabled
  keyFile: /test/mongodb/key/test_rs.key


除了上面的配置外,我们可以通过配置init.d的启动脚本,大家可以去github上面进行搜索一下,有很多启动脚本通过 sudo service mongodb.rs1 start 进行启动处理,通过多个节点进行启动加入到副本集。

由于mongo默认是没有密码的,对于数据库的配置,除了配置帐号密码以外,如果我们是在腾讯云或者阿里云服务器上,需要配置安全组,只允许内网固定几台机器IP,固定端口访问。


配置优化


除了MongoDB配置启动好了,我们还需要对服务器做一些配置调整,主要有以下几点:

  1. 禁止内存过度分配:overcommit_memory=2
  2. 禁用大内存页面HugePage:
  3. 修改文件描述符 > 20000 或者无限制
  4. 关闭定期任务,比如软件包自动更新,消耗CPU及内存资源,造成服务抖动异常(类似Redis异步任务hgetall)

其中vercommit_memory设置1,满足所有内存分配请求(redis部署),设置2分配虚拟空间不超过swap与一小部分过度分配的和,设置0,让内核猜测过度分配大小。

禁止大内存:如果不能全部存进内存,不考虑超过内存容量情况,就可以用大内存,但是不能全部存进去的话,那么大块数据会导致更多IO,而且「脏数据」落地到硬盘可能从KB到MB。

至此我们服务部署上线结束,由于个人经验所限,难免有些疏忽遗漏甚至错误,欢迎留言指出,非常感谢。


相关文章
|
4月前
|
存储 运维 安全
Docker化运维:容器部署的实践指南
Docker化运维:容器部署的实践指南
|
7天前
|
人工智能 JSON 运维
告别假期规划的“人肉运维”!这个AI提示词,帮你“一键部署”十一完美旅行
十一黄金周将至,开发者们如何用“工程师思维”高效规划假期?本文推出一款AI旅行规划神器——结构化提示词,无需代码,只需填空,即可生成专业级定制攻略。从痛点分析到即用模板,涵盖行程、预算、避坑指南,助你一键生成完美假期方案,把时间留给诗和远方。
74 0
|
7月前
|
运维 数据可视化 关系型数据库
使用 Websoft9 运维面板部署和维护 WordPress 到底有多简单?
如何实现 WordPress 极速部署?Websoft9 通过应用商店一键安装与可视化运维管理,10 分钟完成零门槛上线。
169 1
|
7月前
|
运维 安全 关系型数据库
Websoft9 运维面板,全网真正的一键部署应用
Websoft9运维面板实现应用真·一键部署,通过智能环境适配、安全架构与容器化技术,将传统数小时部署缩短至分钟级,显著提升效率与安全性。
202 5
|
7月前
|
运维 监控 持续交付
Websoft9 运维面板:GitOps 助力简化持续部署流程
传统部署中手动配置、脚本管理及版本回滚等问题一直困扰开发者。GitOps 通过基础设施代码化与版本化,成为持续部署新标准。Websoft9 深度融合 GitOps 理念,实现从代码提交到生产发布的自动化闭环。其核心功能包括:Git 仓库驱动配置管理(支持多分支隔离)、Argo CD 集成自动同步(灰度发布与全量更新)以及可视化监控审计(部署历史与资源变化分析)。本文结合实际操作解析其低门槛企业级部署方案。
87 0
|
12月前
|
存储 NoSQL MongoDB
MongoDB 复制(副本集)
10月更文挑战第17天
166 2
MongoDB 复制(副本集)
|
11月前
|
NoSQL 容灾 MongoDB
MongoDB主备副本集方案:两台服务器使用非对称部署的方式实现高可用与容灾备份
在资源受限的情况下,为了实现MongoDB的高可用性,本文探讨了两种在两台服务器上部署MongoDB的方案。方案一是通过主备身份轮换,即一台服务器作为主节点,另一台同时部署备节点和仲裁节点;方案二是利用`priority`设置实现自动主备切换。两者相比,方案二自动化程度更高,适合追求快速故障恢复的场景,而方案一则提供了更多的手动控制选项。文章最后对比了这两种方案与标准三节点副本集的优缺点,指出三节点方案在高可用性和数据一致性方面表现更佳。
830 5
|
运维 Cloud Native Devops
云原生架构的崛起与实践云原生架构是一种通过容器化、微服务和DevOps等技术手段,帮助应用系统实现敏捷部署、弹性扩展和高效运维的技术理念。本文将探讨云原生的概念、核心技术以及其在企业中的应用实践,揭示云原生如何成为现代软件开发和运营的主流方式。##
云原生架构是现代IT领域的一场革命,它依托于容器化、微服务和DevOps等核心技术,旨在解决传统架构在应对复杂业务需求时的不足。通过采用云原生方法,企业可以实现敏捷部署、弹性扩展和高效运维,从而大幅提升开发效率和系统可靠性。本文详细阐述了云原生的核心概念、主要技术和实际应用案例,并探讨了企业在实施云原生过程中的挑战与解决方案。无论是正在转型的传统企业,还是寻求创新的互联网企业,云原生都提供了一条实现高效能、高灵活性和高可靠性的技术路径。 ##
577 30
|
11月前
|
存储 NoSQL MongoDB
【赵渝强老师】部署MongoDB复制集
本文介绍了如何在单个节点上搭建MongoDB复制集环境,通过监听不同端口实现多节点配置。详细步骤包括创建数据目录、编辑配置文件、启动节点、初始化复制集、查看状态以及测试主从库的读写操作。文中还提供了视频讲解和代码示例,帮助读者更好地理解和操作。
238 0
|
存储 NoSQL Shell
MongoDB复制(副本集)总结
这篇文章是关于MongoDB副本集的总结,包括复制原理、设置副本集、案例分析等内容。
263 1

热门文章

最新文章

推荐镜像

更多