轻松掌握组件启动之MongoDB(上):高可用复制集架构环境搭建

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: 本文介绍了MongoDB复制集的架构和特点,强调了使用复制集提供数据的高可用性和冗余性的重要性。复制集由Primary节点和Secondary节点组成,确保数据一致性。复制集还具有数据分发、读写分离和异地容灾等附加功能。使用MongoDB复制集可以提供稳定可靠的数据存储和高可用性。

MongoDB复制集

复制集架构

在生产环境中,强烈不建议使用单机版的MongoDB服务器。原因如下:

单机版的MongoDB无法保证系统的可靠性。一旦进程发生故障或是服务器宕机,业务将直接不可用。此外,一旦服务器上的磁盘损坏,数据会直接丢失,而此时并没有任何副本可用。

为了确保数据的高可用性和冗余性,我们建议使用Mongodb复制集(Replication Set)。复制集由一组Mongod实例(进程)组成,其中包含一个Primary节点和多个Secondary节点。所有的数据写入操作都会被写入Primary节点,并且Secondary节点会从Primary节点同步写入的数据,以保持复制集内所有成员存储相同的数据集。这样可以提供数据的高可用性。复制集的功能依赖于两个方面:

  1. 数据写入时将数据迅速复制到另一个独立节点上,确保数据的冗余性和可用性。
  2. 在接受写入的节点发生故障时,系统能够自动选举出一个新的替代节点,以确保系统的连续性和可用性。

image

在实现高可用性的同时,Mongodb复制集还具有其他几个附加作用:

数据分发:复制集可以将数据从一个区域复制到另一个区域,从而减少另一个区域的读取延迟。

读写分离:复制集还支持读写分离的功能。通过将不同类型的压力分别在不同的节点上执行,可以有效地分担系统的负载。

异地容灾:复制集还可以实现异地容灾。在数据中心发生故障时,可以快速切换到异地部署的节点。

早期版本的MongoDB使用了一种Master-Slave的架构,该做法在MongoDB 3.4版本之后已经废弃。因为Master-Slave 其中Master 宕机后不能自动恢复,只能靠人为操作,可靠性也差,操作不当就存在丢数据的风险。

三节点复制集模式

常见的复制集架构通常由3个成员节点组成,其中存在几种不同的模式,具体取决于配置和需求。

PSS模式(官方推荐模式)

在常见的复制集架构中,PSS(Primary+Secondary+Secondary)模式是一种常见的配置,它由一个主节点和两个备节点组成。

image

在这种模式下,如果主节点不可用,复制集会智能地选择其中一个备节点作为新的主节点,并继续正常的操作。这种自动切换的机制确保了系统的连续性和可用性,同时减少了数据丢失的风险。旧的主节点在可用时重新加入复制集。

image

PSA模式

PSA(Primary+Secondary+Arbiter)模式是一种常见的架构配置。它由一个主节点、一个备节点和一个仲裁者节点组成。

image

在这种PSA模式下,Arbiter节点的主要作用是作为一个仲裁者来参与选举投票。它不存储数据副本,也不提供实际的业务读写操作。因此,即使Arbiter节点发生故障,也不会对业务产生直接影响,只会影响选举投票过程。主节点负责处理所有的业务读写操作,并且有一个完整的数据副本。备节点也存储了一个完整的数据副本,并在主节点故障时承担主节点的角色。而Arbiter节点则参与选举投票,帮助复制集在主节点发生故障时选择一个新的主节点。

image

典型三节点复制集环境搭建

即使只有一台服务器,以单节点模式启动复制集也是一个值得考虑的选择。

  • 单机多实例启动复制集
  • 单节点启动复制集

复制集注意事项

关于硬件:

  • 由于正常的复制集节点都有可能成为主节点,它们的地位是相等的。因此,为了确保系统的稳定性,必须确保各节点的硬件配置保持一致。
  • 为了避免多个节点同时宕机,每个节点使用的硬件必须具有独立性。这样可以保证即使一个节点宕机,其他节点仍然可以正常工作,确保系统的连续性和可靠性。

关于软件:

  • 在复制集中,每个节点的软件版本必须保持一致,这样可以避免出现无法预料的问题。
  • 值得注意的是,增加节点并不会提高系统的写入性能。

环境准备:

  • 安装 MongoDB并正确配置好环境变量
  • 确保你的计算机硬盘上有充足的空间,至少需要10GB或更多的可用空间。

准备配置文件

为了实现复制集的最佳性能和可靠性,建议将复制集的每个mongod进程部署在不同的服务器上。目前我们在一台机器上运行3个进程,因此需要对它们进行以下配置:

  • 配置不同的端口:(28017/28018/28019)
  • 配置不同的数据目录:
mkdir ‐p /data/db1
mkdir ‐p /data/db2
mkdir ‐p /data/db3
  • 配置不同的日志文件路径:(例如:/data/db1/mongod.log)

创建配置文件 /data/db1/mongod.conf 时,你可以进行以下设置:

# /data/db1/mongod.conf
systemLog:
  destination: file
  path: /data/db1/mongod.log
  logAppend: true
storage:
  dbPath: /data/db1
net:
  bindIp: 0.0.0.0
  port: 28017
replication:
  replSetName: rs0
processManagement:
  fork: true

我们可以按照以上步骤修改端口和路径,分别配置 db2 和 db3。请确保配置文件使用 YAML 格式。

启动 MongoDB 进程

mongod ‐f /data/db1/mongod.conf
mongod ‐f /data/db2/mongod.conf
mongod ‐f /data/db3/mongod.conf

注意:如果启用了 SELinux,可能阻止上述进程启动。简单起见请关闭 SELinux。

# 永久关闭,将SELINUX=enforcing改为SELINUX=disabled,设置后需要重启才能生效
vim /etc/selinux/config
# 查看SELINUX
/usr/sbin/sestatus ‐v

总结

在本文中,我们介绍了MongoDB复制集的架构和特点。我们强调了在生产环境中使用单机版MongoDB的风险,并推荐使用复制集来保证数据的高可用性和冗余性。

复制集由一组Mongod实例组成,其中包含一个Primary节点和多个Secondary节点。所有的数据写入操作都会被写入Primary节点,并且Secondary节点会从Primary节点同步写入的数据,以保持复制集内所有成员存储相同的数据集。

最后,我们提供了在典型三节点复制集环境中搭建的步骤和注意事项,包括准备配置文件和启动MongoDB进程。下一章节我们将讲解如何配置复制集和集群安全验证及其连接方式。

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
2月前
|
消息中间件 存储 Java
RocketMQ(一):消息中间件缘起,一览整体架构及核心组件
【10月更文挑战第15天】本文介绍了消息中间件的基本概念和特点,重点解析了RocketMQ的整体架构和核心组件。消息中间件如RocketMQ、RabbitMQ、Kafka等,具备异步通信、持久化、削峰填谷、系统解耦等特点,适用于分布式系统。RocketMQ的架构包括NameServer、Broker、Producer、Consumer等组件,通过这些组件实现消息的生产、存储和消费。文章还提供了Spring Boot快速上手RocketMQ的示例代码,帮助读者快速入门。
|
2月前
|
存储 分布式计算 API
大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
97 0
|
25天前
|
监控 前端开发 数据可视化
3D架构图软件 iCraft Editor 正式发布 @icraft/player-react 前端组件, 轻松嵌入3D架构图到您的项目,实现数字孪生
@icraft/player-react 是 iCraft Editor 推出的 React 组件库,旨在简化3D数字孪生场景的前端集成。它支持零配置快速接入、自定义插件、丰富的事件和方法、动画控制及实时数据接入,帮助开发者轻松实现3D场景与React项目的无缝融合。
94 8
3D架构图软件 iCraft Editor 正式发布 @icraft/player-react 前端组件, 轻松嵌入3D架构图到您的项目,实现数字孪生
|
1月前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
155 3
【赵渝强老师】基于大数据组件的平台架构
|
2月前
|
SQL 存储 分布式计算
大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
39 9
|
1月前
|
存储 NoSQL MongoDB
【赵渝强老师】部署MongoDB复制集
本文介绍了如何在单个节点上搭建MongoDB复制集环境,通过监听不同端口实现多节点配置。详细步骤包括创建数据目录、编辑配置文件、启动节点、初始化复制集、查看状态以及测试主从库的读写操作。文中还提供了视频讲解和代码示例,帮助读者更好地理解和操作。
|
1月前
|
存储 NoSQL MongoDB
【赵渝强老师】MongoDB复制集的体系架构
MongoDB的复制集是一种集群技术,由一个Primary节点和多个Secondary节点组成,实现数据的高可用性。Primary节点处理写入请求,Secondary节点同步数据。当Primary节点故障时,Secondary节点可通过选举成为新的Primary节点。视频讲解和示意图详见正文。
|
2月前
|
消息中间件 监控 Java
大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
79 1
|
2月前
|
消息中间件 运维 NoSQL
基础架构组件选型及服务化
【10月更文挑战第15天】本文概述了分布式系统中常见的基础架构组件及其选型与服务化的重要性。
|
8天前
|
存储 NoSQL 关系型数据库
阿里云数据库MongoDB版助力信也科技 打造互联网金融企业样板
我们的风控系统引入阿里云数据库MongoDB版后,解决了特征类字段灵活加减的问题,大大提高了开发效率,极大的提升了业务用户体验,获得了非常好的效果
阿里云数据库MongoDB版助力信也科技 打造互联网金融企业样板