『MongoDB』MongoDB高可用部署架构——复制集篇(Replica Set)

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: 读完这篇文章里你能收获到1. MongoDB是如何通过复制集实现高可用的2. 主节点宕机后如何通过选举做到故障恢复3. 在复制集中常见的可调整参数有哪些4. 在Linux原生环境搭建MongoDB复制集5. 在Winodws环境搭建MongoDB复制集

请添加图片描述
读完这篇文章里你能收获到

  • MongoDB是如何通过复制集实现高可用的
  • 主节点宕机后如何通过选举做到故障恢复
  • 在复制集中常见的可调整参数有哪些
  • 在Linux原生环境搭建MongoDB复制集
  • 在Winodws环境搭建MongoDB复制集

请添加图片描述

一、复制集机制及原理

1 复制集的作用

  • MongoDB 复制集的主要意义在于实现服务高可用
  • 它的现实依赖于两个方面的功能:

1.数据写入时将数据迅速复制到另一个独立节点上
2.在接受写入的节点发生故障时自动选举出一个新的替代节点

  • 在实现高可用的同时,复制集实现了其他几个附加作用:

1.数据分发:将数据从一个区域复制到另一个区域,减少另一个区域的读延迟
2.读写分离:不同类型的压力分别在不同的节点上执行
3.异地容灾:在数据中心故障时候快速切换到异地

2 典型复制集结构

  • 一个典型的复制集由3个以上具有投票权的节点组成,包括:
  1. 一个主节点(PRIMARY):接受写入操作和选举时投票
  2. 两个(或多个)从节点(SECONDARY):复制主节点上的新数据和选举时投票
  3. 不推荐使用 Arbiter(投票节点/仲裁节点)

在这里插入图片描述

3 数据是如何复制的?

  • 当一个修改操作,无论是插入、更新或删除,到达主节点时,它对数据的操作将被记录下来(经过一些必要的转换),这些记录称为 oplog。
  • 从节点通过在主节点上打开一个 tailable 游标不断获取新进入主节点的 oplog,并在自己的数据上回放,以此保持跟主节点的数据一致。

在这里插入图片描述

4 通过选举完成故障恢复

  • 具有投票权的节点之间两两互相发送心跳;
  • 5次心跳未收到时判断为节点失联;
  • 如果失联的是主节点,从节点会发起选举,选出新的主节点;
  • 如果失联的是从节点则不会产生新的选举;
  • 选举基于 RAFT一致性算法 实现,选举成功的必要条件是大多数投票节点存活;
  • 复制集中最多可以有50个节点,但具有投票权的节点最多7个

在这里插入图片描述

5 影响选举的因素

  • 整个集群必须有大多数节点存活;
  • 被选举为主节点的节点必须:
  1. 能够与多数节点建立连接
  2. 具有较新的 oplog
  3. 具有较高的优先级(如果有配置)

6 复制集节点常见选项

  • 是否具有投票权(v 参数):有则参与投票;
  • 优先级(priority 参数):优先级越高的节点越优先成为主节点。优先级为0的节点无法成为主节点;
  • 隐藏(hidden 参数):复制数据,但对应用不可见。隐藏节点可以具有投票仅,但优先级必须为0;
  • 延迟(slaveDelay 参数):复制 n 秒之前的数据,保持与主节点的时间差。

在这里插入图片描述

7 复制集注意事项

  • 关于硬件:

因为正常的复制集节点都有可能成为主节点,它们的地位是一样的,因此硬件配置上尽可能一致;
为了保证节点不会同时宕机,各节点使用的硬件必须具有独立性。

  • 关于软件:

复制集各节点软件版本必须一致,以避免出现不可预知的问题。

  • 增加节点不会增加系统写性能!!!

请添加图片描述

二、搭建 MongoDB 复制集

搭建目标
本实验中,我将通过在一台机器上运行3个实例来搭建一个最简单的复制集。我将会带展示以下几点:

  • 如何启动一个 MongoDB 实例
  • 如何将3个 MongoDB 实例搭建成一个复制集
  • 如何对复制集运行参数做一些常规调整

1 搭建准备

  • 安装最新的 MongoDB 版本
  • Windows 系统请事先配置好 MongoDB 可执行文件的环境变量
  • Linux 和 Mac 系统请配置 PATH 变量
  • 确保有 10GB 以上的硬盘空间

2 复制集节点创建

MongoDB 启动时将使用一个数据目录存放所有数据文件。我们将为3个复制集节点创建各自的数据目录。

2.1 在Linux原生环境下搭建

2.1.1 创建数据目录

mkdir -p /data/db{1,2,3}

2.1.2 准备配置文件

复制集的每个mongod进程应该位于不同的服务器。现在在一台机器上运行3个进程,因此要为它们各自配置:
  • 不同的端口。示例中将使用28017/28018/28019
  • 不同的数据目录。示例中将使用:

/data/db1
/data/db2
/data/db3

  • 不同日志文件路径。示例中将使用:

/data/db1/mongod.log
/data/db2/mongod.log
/data/db3/mongod.log

  • 在相应的数据目录下创建以下mongod.conf文件,注意:#注释的代表那行是需要修改的
# /data/db1/mongod.conf  
systemLog:
    destination: file
    path: /data/db1/mongod.log # log path
    logAppend: true
storage:
    dbPath: /data/db1 # data directory
net:
    bindIp: 0.0.0.0  port: 28017    # port
replication:
    replSetName: rs0
processManagement:
    fork: true

2.1.3 启动 MongoDB 进程

mongod -f /data/db1/mongod.conf  
mongod -f /data/db2/mongod.conf  
mongod -f /data/db3/mongod.conf

注意:如果启用了 SELinux,可能阻止上述进程启动。简单起见请关闭 SELinux。

如果以上步骤都已完成,那么离成功就差一小步了,跳到 第三点查看复制集的配置。

2.2 在Windows下搭建

2.2.1 创建数据目录

md c:\data\db1  
md c:\data\db2  
md c:\data\db3

2.2.2 准备配置文件

复制集的每个mongod进程应该位于不同的服务器。现在在一台机器上运行3个进程,因此要为它们各自配置:
  • 不同的端口。示例中将使用28017/28018/28019
  • 不同的数据目录。示例中将使用:

c:\data\db1
c:\data\db2
c:\data\db3

  • 不同日志文件路径。示例中将使用:

c:\data\db1\mongod.log
c:\data\db2\mongod.log
c:\data\db3\mongod.log

  • 在相应的数据目录下创建以下mongod.conf文件,注意:#注释的代表那行是需要修改的
# c:\data\db1\mongod.conf  
systemLog:
    destination: file
    path: c:\data1\mongod.log  # 日志文件路径
    logAppend: true
storage:
    dbPath: c:\data1 # 数据目录
net:
    bindIp: 0.0.0.0
    port: 28017    # 端口
replication: 
     replSetName: rs0

2.2.3 启动 MongoDB 进程

mongod -f c:\data1\mongod.conf  
mongod -f c:\data2\mongod.conf  
mongod -f c:\data3\mongod.conf

因为 Windows 不支持 fork,以上命令需要在3个不同的窗口执行,执行后不可关闭窗口否则进程将直接结束。

3 配置复制集

  • 进入mongo shell
mongo --port 28017
  • 创建复制集
# mongo --port 28017
> rs.initiate({
    _id: "rs0",  members: [{
        _id: 0,
        host: "localhost:28017"
        },{
        _id: 1,
        host: "localhost:28018"
        },{
        _id: 2,
        host: "localhost:28019"
}]

4 验证

  • MongoDB 主节点进行写入
# mongo localhost:28017
> db.test.insert({ a:1 })
> db.test.insert({ a:2 });
  • MongoDB 从节点进行读
# mongo localhost:28018
> rs.slaveOk()
> db.test.find()

在这里插入图片描述

5 复制集配置调整

var conf = rs.conf()
// 将0号节点的优先级调整为10
conf.members[0].priority = 10;
// 将1号节点调整为hidden节点
conf.members[1].hidden = true;
// hidden节点必须配置{priority: 0}
conf.members[1].priority = 0;
// 应用以上调整
rs.reconfig(conf);
相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
24天前
|
存储 SQL 关系型数据库
Mysql高可用架构方案
本文阐述了Mysql高可用架构方案,介绍了 主从模式,MHA模式,MMM模式,MGR模式 方案的实现方式,没有哪个方案是完美的,开发人员在选择何种方案应用到项目中也没有标准答案,合适的才是最好的。
104 3
Mysql高可用架构方案
|
29天前
|
Kubernetes 关系型数据库 MySQL
Kubernetes入门:搭建高可用微服务架构
【10月更文挑战第25天】在快速发展的云计算时代,微服务架构因其灵活性和可扩展性备受青睐。本文通过一个案例分析,展示了如何使用Kubernetes将传统Java Web应用迁移到Kubernetes平台并改造成微服务架构。通过定义Kubernetes服务、创建MySQL的Deployment/RC、改造Web应用以及部署Web应用,最终实现了高可用的微服务架构。Kubernetes不仅提供了服务发现和负载均衡的能力,还通过各种资源管理工具,提升了系统的可扩展性和容错性。
81 3
|
19天前
|
存储 NoSQL MongoDB
【赵渝强老师】部署MongoDB复制集
本文介绍了如何在单个节点上搭建MongoDB复制集环境,通过监听不同端口实现多节点配置。详细步骤包括创建数据目录、编辑配置文件、启动节点、初始化复制集、查看状态以及测试主从库的读写操作。文中还提供了视频讲解和代码示例,帮助读者更好地理解和操作。
|
19天前
|
存储 NoSQL MongoDB
【赵渝强老师】MongoDB复制集的体系架构
MongoDB的复制集是一种集群技术,由一个Primary节点和多个Secondary节点组成,实现数据的高可用性。Primary节点处理写入请求,Secondary节点同步数据。当Primary节点故障时,Secondary节点可通过选举成为新的Primary节点。视频讲解和示意图详见正文。
|
2月前
|
NoSQL MongoDB Docker
求助,有没有大神可以找到arm64架构下mongodb的3.6.8版本的docker镜像?
在Docker Hub受限的情况下,寻求适用于ARM架构的docker镜像资源或拉取链接,以便在x86架构上获取;内网中的机器为ARM架构,因此优先请求适合ARM的Docker镜像或Dockerfile,非常感激您的帮助。
|
4月前
|
运维 监控 关系型数据库
【一文搞懂PGSQL】7. PostgreSQL + repmgr + witness 高可用架构
该文档介绍了如何构建基于PostgreSQL的高可用架构,利用repmgr进行集群管理和故障转移,并引入witness节点增强网络故障检测能力。repmgr是一款轻量级的开源工具,支持一键部署、自动故障转移及分布式节点管理。文档详细描述了环境搭建步骤,包括配置postgresql参数、安装与配置repmgr、注册集群节点以及配置witness节点等。此外,还提供了故障手动与自动切换的方法及常用命令,确保集群稳定运行。
|
4月前
|
C# UED 开发者
WPF与性能优化:掌握这些核心技巧,让你的应用从卡顿到丝滑,彻底告别延迟,实现响应速度质的飞跃——从布局到动画全面剖析与实例演示
【8月更文挑战第31天】本文通过对比优化前后的方法,详细探讨了提升WPF应用响应速度的策略。文章首先分析了常见的性能瓶颈,如复杂的XAML布局、耗时的事件处理、不当的数据绑定及繁重的动画效果。接着,通过具体示例展示了如何简化XAML结构、使用后台线程处理事件、调整数据绑定设置以及利用DirectX优化动画,从而有效提升应用性能。通过这些优化措施,WPF应用将更加流畅,用户体验也将得到显著改善。
252 1
|
4月前
|
C# 开发者 Windows
全面指南:WPF无障碍设计从入门到精通——让每一个用户都能无障碍地享受你的应用,从自动化属性到焦点导航的最佳实践
【8月更文挑战第31天】为了确保Windows Presentation Foundation (WPF) 应用程序对所有用户都具备无障碍性,开发者需关注无障碍设计原则。这不仅是法律要求,更是社会责任,旨在让技术更人性化,惠及包括视障、听障及行动受限等用户群体。
85 0
|
2月前
|
存储 关系型数据库 MySQL
一个项目用5款数据库?MySQL、PostgreSQL、ClickHouse、MongoDB区别,适用场景
一个项目用5款数据库?MySQL、PostgreSQL、ClickHouse、MongoDB——特点、性能、扩展性、安全性、适用场景比较
|
1月前
|
NoSQL Cloud Native atlas
探索云原生数据库:MongoDB Atlas 的实践与思考
【10月更文挑战第21天】本文探讨了MongoDB Atlas的核心特性、实践应用及对云原生数据库未来的思考。MongoDB Atlas作为MongoDB的云原生版本,提供全球分布式、完全托管、弹性伸缩和安全合规等优势,支持快速部署、数据全球化、自动化运维和灵活定价。文章还讨论了云原生数据库的未来趋势,如架构灵活性、智能化运维和混合云支持,并分享了实施MongoDB Atlas的最佳实践。