MongoDB学习笔记(四) 集群搭建之主从复制

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
日志服务 SLS,月写入数据量 50GB 1个月
简介: MongoDB学习笔记(四) 集群搭建之主从复制

常见的 MongoDB 集群有三种,分别是主从复制、副本集和分片,这篇文章将会对主从复制进行简单的介绍

开始先说一下,这篇文章用到的所有代码都是经过本地测试的,博主用于测试的操作系统为 CentOS 7

好,下面正式开始!


1、介绍


主从复制(Master/Slaver)可以算得上是最简单的一种集群搭建方式啦

实际上,它只是 使用一个或多个从节点同步主节点的数据 而已,整体结构并不复杂,搭建起来也比较简单


主从复制集群的特点如下:

  • 使用从节点对主节点的数据进行备份,保障数据安全
  • 读写操作均发生在主节点上,导致主节点压力较大
  • 当主数据库挂掉之后,客户端无法继续读写数据


数据同步

主节点在写入或更新数据的同时,将操作信息写入 oplog (operation log) 日志文件

从节点定期获取主节点的 oplog,然后根据日志内容更新自身数据,从而保持与主节点一致


2、搭建


下面是在本地进行的一个简单模拟,一个主节点,一个从节点


(1)下载 MongoDB


> su
> cd /root
> mkdir mongodb-master-slaver-cluster
> cd mongodb-master-slaver-cluster


> mkdir mongodb
> cd mongodb
> wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.2.7.tgz
> tar -zxvf mongodb-linux-x86_64-3.2.7.tgz
> cd ..


(2)创建两个文件夹,分别用于模拟 master 和 slaver 节点


> mkdir master # 主节点
> touch ./master/mongodb.conf
> mkdir ./master/log
> mkdir -p ./master/data/db


> mkdir slaver # 从节点
> touch ./slaver/mongodb.conf
> mkdir ./slaver/log
> mkdir -p ./slaver/data/db

创建完成之后,目录结构如下:

+ mongodb-master-slaver-cluster
  + mongodb
    + mongodb-linux-x86_64-3.2.7.tgz
    + mongodb-linux-x86_64-3.2.7
  + master
    + log
    + data
      + db
    + mongodb.conf
  + slaver
    + log
    + data
      + db
    + mongodb.conf


(3)写配置文件


# master/mongodb.conf 文件内容
# 数据文件的存放位置
dbpath = /root/mongodb-master-slaver-cluster/master/data/db
# 日志文件的存放位置
logpath = /root/mongodb-master-slaver-cluster/master/log/mongodb.log
# 监听的端口,默认为 27017
port = 27001
# 以守护进程的方式运行 MongoDB
fork = true
# 确认本节点为 master 节点
master = true


# slaver/mongodb.conf 文件内容
# 数据文件的存放位置
dbpath = /root/mongodb-master-slaver-cluster/slaver/data/db
# 日志文件的存放位置
logpath = /root/mongodb-master-slaver-cluster/slaver/log/mongodb.log
# 监听的端口,默认为 27017
port = 27002
# 以守护进程的方式运行 MongoDB
fork = true
# 确认本节点为 slaver 节点
slave = true
# 指定数据同步来源,指向 master 节点
source = 127.0.0.1:27001

(4)分别开启两个数据库


> cd /root/mongodb-master-slaver-cluster/mongodb/mongodb-linux-x86_64-3.2.7/bin/
> ./mongod -f /root/mongodb-master-slaver-cluster/master/mongodb.conf
> ./mongod -f /root/mongodb-master-slaver-cluster/slaver/mongodb.conf

这样就可以啦,此时应该可以看到两个 MongoDB 进程正在运行

> ps aux | grep mongo


3、测试


打开新的终端,连接到主数据库,插入一条数据(可写),之后对其进行查询(可读)

> cd /root/mongodb-master-slaver-cluster/mongodb/mongodb-linux-x86_64-3.2.7/bin/
> ./mongo mongodb://127.0.0.1:27001/admin


> db.user.insert({'username': 'Alice', 'password': '123456'}) // 插入数据(可写)
// WriteResult({ "nInserted" : 1 })
> db.user.find() // 查询数据(可读)
// { "username" : "Alice", "password" : "123456" }

打开另外一个终端,连接到从数据库,查询是否同步(可读),然后尝试在从数据库中插入一条数据(不可写)

> cd /root/mongodb-master-slaver-cluster/mongodb/mongodb-linux-x86_64-3.2.7/bin/
> ./mongo mongodb://127.0.0.1:27002/admin

> rs.slaveOk() // 在查询之前需要先设置从节点状态
> db.user.find() // 查询数据(可读)
// { "username" : "Alice", "password" : "123456" }
> db.user.insert({'username': 'Bob', 'password': 'abc'}) // 插入数据(不可写)
// WriteResult({ "writeError" : { "code" : 10107, "errmsg" : "not master" } })

再开一个终端,手动关闭主数据库,模拟主节点挂掉的情况

> cd /root/mongodb-master-slaver-cluster/mongodb/mongodb-linux-x86_64-3.2.7/bin/
> ./mongod --shutdown --dbpath /root/mongodb-master-slaver-cluster/master/data/db


如果这时我们再对主数据库发送查询或插入的请求,都会显示连接失败的错误

> db.user.find()
// network error while attempting to run command 'find' on host '127.0.0.1:27001' 



相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
目录
相关文章
|
4月前
|
存储 NoSQL 算法
MongoDB保姆级指南(中):从副本集群、分片集群起航,探索分布式存储的趋势!
本文一起来聊聊MongoDB集群,顺带以MongoDB集群为起点,共同探讨一下分布式存储的发展趋势~
396 15
|
5月前
|
自然语言处理 运维 NoSQL
MongoDB集群同步
实现 MongoDB Cluster-to-Cluster 即集群同步的工具是:mongosync 详情可参考如下官方文档: https://www.mongodb.com/zh-cn/docs/cluster-to-cluster-sync/current/quickstart/ 以上这个地址的文档一看就是机器翻译的,可能有不恰当的地方,但基本可参考使用。 以下是本次在某项目地配置集群同步的简要步骤,可参考使用。
95 6
|
4月前
|
存储 运维 NoSQL
轻松上手:逐步搭建你的高可用MongoDB集群(分片)
【8月更文挑战第13天】在数据激增的背景下,传统单机数据库难以胜任。MongoDB作为流行NoSQL数据库,采用分片技术实现水平扩展,有效处理海量数据。分片将数据分散存储,提高并发处理能力和容错性,是高可用架构基石。构建MongoDB集群需理解shard、config server和router三组件协同工作原理。通过具体实例演示集群搭建流程,包括各组件的启动及配置,确保数据高可用性和系统稳定性。合理规划与实践可构建高效稳定的MongoDB集群,满足业务需求并支持未来扩展。
134 0
|
6月前
|
存储 负载均衡 NoSQL
MongoDB的架构设计基于三种集群模式
【6月更文挑战第5天】MongoDB的架构设计基于三种集群模式
242 3
|
7月前
|
存储 缓存 NoSQL
MongoDB详解(三)——MongoDB集群
MongoDB详解(三)——MongoDB集群
121 4
|
7月前
|
NoSQL MongoDB
搭建MongoDB分片式集群
搭建MongoDB分片式集群
88 0
|
NoSQL MongoDB Docker
docker搭建mongodb集群
docker搭建mongodb集群
176 0
|
3天前
|
存储 JSON NoSQL
学习 MongoDB:打开强大的数据库技术大门
MongoDB 是一个基于分布式文件存储的文档数据库,由 C++ 编写,旨在为 Web 应用提供可扩展的高性能数据存储解决方案。它与 MySQL 类似,但使用文档结构而非表结构。核心概念包括:数据库(Database)、集合(Collection)、文档(Document)和字段(Field)。MongoDB 使用 BSON 格式存储数据,支持多种数据类型,如字符串、整数、数组等,并通过二进制编码实现高效存储和传输。BSON 文档结构类似 JSON,但更紧凑,适合网络传输。
28 15
|
11天前
|
存储 NoSQL 关系型数据库
阿里云数据库MongoDB版助力信也科技 打造互联网金融企业样板
我们的风控系统引入阿里云数据库MongoDB版后,解决了特征类字段灵活加减的问题,大大提高了开发效率,极大的提升了业务用户体验,获得了非常好的效果
阿里云数据库MongoDB版助力信也科技 打造互联网金融企业样板
|
1月前
|
NoSQL Cloud Native atlas
探索云原生数据库:MongoDB Atlas 的实践与思考
【10月更文挑战第21天】本文探讨了MongoDB Atlas的核心特性、实践应用及对云原生数据库未来的思考。MongoDB Atlas作为MongoDB的云原生版本,提供全球分布式、完全托管、弹性伸缩和安全合规等优势,支持快速部署、数据全球化、自动化运维和灵活定价。文章还讨论了云原生数据库的未来趋势,如架构灵活性、智能化运维和混合云支持,并分享了实施MongoDB Atlas的最佳实践。