AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

搭建mongodb集群（副本集+分片）

2016-04-01 1187
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 MongoDB，独享型 2核8GB
推荐场景：
构建全方位客户视图
简介： 搭建mongodb集群（副本集+分片） 转载自：http://blog.csdn.net/bluejoe2000/article/details/41323051 完整的搭建mongodb集群（副本集+分片）的例子。

搭建mongodb集群（副本集+分片）

转载自：http://blog.csdn.net/bluejoe2000/article/details/41323051

完整的搭建mongodb集群（副本集+分片）的例子。。。

准备四台机器，分别是bluejoe1,bluejoe2,bluejoe3，以及bluejoe0

副本集及分片策略确定如下：

 

  • 将创建3个副本集，命名为shard1,shard2,shard3；
  • 以上3个副本集作为3个分片；
  • 每个副本集包含3个副本（主、辅1、辅2）；
  • 副本分开存储，即shard1存在bluejoe1、bluejoe2、bluejoe3上各一份。。。以此类推
  • 将创建3个配置库实例，一台机器一个
  • bluejoe0上配置一个mongos（mongos一般可以配置在应用端）
画了一个图：
 
 
具体操作步骤如下：
  1. 在bluejoe1上下载mongdb安装包；
  2. 解压至/usr/local/mongdb（注意改名）；
  3. 创建data/db1,db2,db3目录，启动3个mongod实例，注意replSet的名字：
    [java]  view plain ?
    1. mkdir /usr/local/mongodb/data/db1 /usr/local/mongodb/data/db2 /usr/local/mongodb/data/db3  
    2. nohup /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/db1 --port 10001 --replSet db1 --logpath=/usr/local/mongodb/log/db1.log &  
    3. nohup /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/db2 --port 10002 --replSet db2 --logpath=/usr/local/mongodb/log/db2.log &  
    4. nohup /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/db3 --port 10003 --replSet db3 --logpath=/usr/local/mongodb/log/db3.log &  
  4. 使用scp命令，将mongodb目录复制至bluejoe2和bluejoe3机器，并按照第3步启动每台机器上的3个实例；
  5. 初始化副本：
    [java]  view plain ?
    1. mongo bluejoe1:10001  
    2.   
    3.     use admin  
    4.       
    5.     db.runCommand(  
    6.     {  
    7.         "replSetInitiate":  
    8.         {  
    9.             "_id":"db1",  
    10.             "members":  
    11.             [  
    12.                 {  
    13.                     "_id":1,  
    14.                     "host":"bluejoe1:10001"  
    15.                 },  
    16.                 {  
    17.                     "_id":2,  
    18.                     "host":"bluejoe2:10001"  
    19.                 },  
    20.                 {  
    21.                     "_id":3,  
    22.                     "host":"bluejoe3:10001"  
    23.                 }  
    24.             ]  
    25.         }  
    26.     })  
    27.       
    28.   
    29. mongo bluejoe1:10002  
    30.   
    31.     use admin  
    32.       
    33.     db.runCommand(  
    34.     {  
    35.         "replSetInitiate":  
    36.         {  
    37.             "_id":"db2",  
    38.             "members":  
    39.             [  
    40.                 {  
    41.                     "_id":1,  
    42.                     "host":"bluejoe1:10002"  
    43.                 },  
    44.                 {  
    45.                     "_id":2,  
    46.                     "host":"bluejoe2:10002"  
    47.                 },  
    48.                 {  
    49.                     "_id":3,  
    50.                     "host":"bluejoe3:10002"  
    51.                 }  
    52.             ]  
    53.         }  
    54.     })  
    55.       
    56. mongo bluejoe1:10003  
    57.   
    58.     use admin  
    59.       
    60.     db.runCommand(  
    61.     {  
    62.         "replSetInitiate":  
    63.         {  
    64.             "_id":"db3",  
    65.             "members":  
    66.             [  
    67.                 {  
    68.                     "_id":1,  
    69.                     "host":"bluejoe1:10003"  
    70.                 },  
    71.                 {  
    72.                     "_id":2,  
    73.                     "host":"bluejoe2:10003"  
    74.                 },  
    75.                 {  
    76.                     "_id":3,  
    77.                     "host":"bluejoe3:10003"  
    78.                 }  
    79.             ]  
    80.         }  
    81.     })  
  6. 观察副本集的实时复制特性
    1. 连接上bluejoe1:10001，看到db1:PRIMARY>的字样，说明它是db1的主节点
    2. 创建一张新表，创建几条测试记录
    3. 连接上bluejoe3:10002，看到shard1:SECONDARY>的字样，说明它是shard1的辅助节点
    4. 注意此时无法查询前面新增的记录，会报错not master and slaveOk=false
    5. 回到bluejoe1:10001，设置slaveOk
      [html]  view plain ?
      1. db.getMongo().setSlaveOk()  
    6. 再回到bluejoe3:10002，即可看到主节点写入的记录
  • 观察副本集的故障转移特性
    1. 杀掉bluejoe1:10001的进程
    2. 再次连接上bluejoe3:10002，看到shard1:PRIMARY>的字样，说明它已经变成shard1的主节点
    3. 如果这时再启动bluejoe1:10001，则发现它已经变成shard1:SECONDARY>
  • 创建data/configdb，启动配置库实例：
    [html]  view plain ?
    1. mkdir /usr/local/mongodb/data/configdb  
    2. nohup /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/configdb --port 20000 --logpath=/usr/local/mongodb/log/configdb.log &  

    如果需要关闭mongod服务，可使用--shutdown选项，如：
    [java]  view plain ?
    1. /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/configdb --shutdown  
     
    到现在为止应该有12个mongd实例，其中3个为配置库实例，剩下的属于3个副本集；
  • 接下来管理分片，在bluejoe0上启动mongs：

    [html]  view plain ?
    1. nohup /usr/local/mongodb/bin/mongos --port 30000 --configdb bluejoe1:20000,bluejoe2:20000,bluejoe3:20000 &  
  • 连接上mongos，配置分片信息：
    [html]  view plain ?
    1. mongo bluejoe0:30000  
    2.   
    3. mongos> use admin  
    4. switched to db admin  
    5.       
    6. db.runCommand({"addShard":"db1/bluejoe1:10001"})  
    7. db.runCommand({"addShard":"db2/bluejoe1:10002"})  
    8. db.runCommand({"addShard":"db3/bluejoe1:10003"})  
  • 查看分片情况：
    [html]  view plain ?
    1. mongos>  db.runCommand({listshards:1})  
    2. {  
    3. <span style="white-space:pre">  </span>"shards" : [  
    4. <span style="white-space:pre">      </span>{  
    5. <span style="white-space:pre">          </span>"_id" : "db1",  
    6. <span style="white-space:pre">          </span>"host" : "db1/bluejoe1:10001,bluejoe2:10001,bluejoe3:10001"  
    7. <span style="white-space:pre">      </span>},  
    8. <span style="white-space:pre">      </span>{  
    9. <span style="white-space:pre">          </span>"_id" : "db2",  
    10. <span style="white-space:pre">          </span>"host" : "db2/bluejoe1:10002,bluejoe2:10002,bluejoe3:10002"  
    11. <span style="white-space:pre">      </span>},  
    12. <span style="white-space:pre">      </span>{  
    13. <span style="white-space:pre">          </span>"_id" : "db3",  
    14. <span style="white-space:pre">          </span>"host" : "db3/bluejoe1:10003,bluejoe2:10003,bluejoe3:10003"  
    15. <span style="white-space:pre">      </span>}  
    16. <span style="white-space:pre">  </span>],  
    17. <span style="white-space:pre">  </span>"ok" : 1  
    18. }  
    可以看出，尽管注册的时候只是提供了副本集的主节点，但mongos已知晓了各辅助节点；

  • 对某个库开启分片功能：
    [html]  view plain ?
    1. mongos> db.runCommand({"enablesharding":"test"})  
    2. { "ok" : 1 }  
    3. mongos> db.runCommand({"shardcollection":"test.person","key":{_id:'hashed'}})  
    4. { "collectionsharded" : "test.person", "ok" : 1 }  
  • 插入测试数据：
    [html]  view plain ?
    1. mongos> for(var i=0;i<10;i++){db.person.insert({name:"bluejoe"+i});}  
    2. WriteResult({ "nInserted" : 1 })  
  • 查看数据分片存储情况：
    [html]  view plain ?
    1. [root@hadoop0 ~]# mongo bluejoe3:10002  
    2. MongoDB shell version: 2.6.5  
    3. connecting to: bluejoe3:10002/test  
    4. shard1:PRIMARY> db.person.find()  
    5. { "_id" : ObjectId("546ff1013a0d0ec68b42a914"), "name" : "bluejoe0" }  
    6. { "_id" : ObjectId("546ff1013a0d0ec68b42a915"), "name" : "bluejoe1" }  
    7. { "_id" : ObjectId("546ff1013a0d0ec68b42a91a"), "name" : "bluejoe6" }  
    8. { "_id" : ObjectId("546ff1013a0d0ec68b42a91b"), "name" : "bluejoe7" }  
    9. { "_id" : ObjectId("546ff1013a0d0ec68b42a91c"), "name" : "bluejoe8" }  
    10. shard1:PRIMARY> exit  
    11. bye  
    12. [root@hadoop0 ~]# mongo bluejoe2:10001  
    13. MongoDB shell version: 2.6.5  
    14. connecting to: bluejoe2:10001/test  
    15. shard2:PRIMARY> db.person.find()  
    16. { "_id" : ObjectId("546ff1013a0d0ec68b42a918"), "name" : "bluejoe4" }  
    17. shard2:PRIMARY> exit  
    18. bye  
    19. [root@hadoop0 ~]# mongo bluejoe3:10001  
    20. MongoDB shell version: 2.6.5  
    21. connecting to: bluejoe3:10001/test  
    22. shard3:PRIMARY> db.person.find()  
    23. { "_id" : ObjectId("546ff1013a0d0ec68b42a916"), "name" : "bluejoe2" }  
    24. { "_id" : ObjectId("546ff1013a0d0ec68b42a917"), "name" : "bluejoe3" }  
    25. { "_id" : ObjectId("546ff1013a0d0ec68b42a919"), "name" : "bluejoe5" }  
    26. { "_id" : ObjectId("546ff1013a0d0ec68b42a91d"), "name" : "bluejoe9" }  
    27. shard3:PRIMARY>   
文章标签：
云数据库 MongoDB 版
NoSQL
Web App开发
关系型数据库
Java
Shell
关键词：
云数据库 MongoDB 版副本集
云数据库 MongoDB 版分片
云数据库 MongoDB 版集群分片
云数据库 MongoDB 版集群
云数据库 MongoDB 版集群副本集
相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识，包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用（唯一索引、地理索引、过期索引、全文索引等）、MapReduce操作实现、用户管理、Java对MongoDB的操作支持（基于2.x驱动与3.x驱动的完全讲解）。 通过学习此课程，读者将具备MongoDB数据库的开发能力，并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品：云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构，具备安全审计，时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版（ApsaraDB for MongoDB）完全兼容MongoDB协议，基于飞天分布式系统和高可靠存储引擎，提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
jimbuster
目录
相关文章
想飞的雪糕
|
28天前
|
NoSQL 容灾 MongoDB
MongoDB主备副本集方案：两台服务器使用非对称部署的方式实现高可用与容灾备份
在资源受限的情况下，为了实现MongoDB的高可用性，本文探讨了两种在两台服务器上部署MongoDB的方案。方案一是通过主备身份轮换，即一台服务器作为主节点，另一台同时部署备节点和仲裁节点；方案二是利用`priority`设置实现自动主备切换。两者相比，方案二自动化程度更高，适合追求快速故障恢复的场景，而方案一则提供了更多的手动控制选项。文章最后对比了这两种方案与标准三节点副本集的优缺点，指出三节点方案在高可用性和数据一致性方面表现更佳。
想飞的雪糕
63 5
cqtianxin1
|
2月前
|
存储 NoSQL MongoDB
MongoDB 复制（副本集）
10月更文挑战第17天
cqtianxin1
37 2
MongoDB 复制（副本集）
cqtianxin1
|
2月前
|
存储 NoSQL 前端开发
MongoDB 分片
10月更文挑战第17天
cqtianxin1
38 2
vohelon
|
3月前
|
存储 监控 NoSQL
*MongoDB的水平扩展主要通过分片技术实
*MongoDB的水平扩展主要通过分片技术实
vohelon
52 5
数据知道
|
3月前
|
存储 NoSQL 前端开发
MongoDB 分片总结
这篇文章总结了MongoDB分片的概念、集群结构、分片实例、配置和测试过程。
数据知道
79 6
数据知道
|
3月前
|
存储 NoSQL Shell
MongoDB复制（副本集）总结
这篇文章是关于MongoDB副本集的总结，包括复制原理、设置副本集、案例分析等内容。
数据知道
48 1
竹子爱熊猫
|
4月前
|
存储 NoSQL 算法
MongoDB保姆级指南(中)：从副本集群、分片集群起航，探索分布式存储的趋势！
本文一起来聊聊MongoDB集群，顺带以MongoDB集群为起点，共同探讨一下分布式存储的发展趋势~
竹子爱熊猫
356 15
金雪人
|
5月前
|
自然语言处理 运维 NoSQL
MongoDB集群同步
实现 MongoDB Cluster-to-Cluster 即集群同步的工具是：mongosync 详情可参考如下官方文档： https://www.mongodb.com/zh-cn/docs/cluster-to-cluster-sync/current/quickstart/ 以上这个地址的文档一看就是机器翻译的，可能有不恰当的地方，但基本可参考使用。 以下是本次在某项目地配置集群同步的简要步骤，可参考使用。
金雪人
94 6
土木林森
|
4月前
|
存储 运维 NoSQL
轻松上手：逐步搭建你的高可用MongoDB集群（分片）
【8月更文挑战第13天】在数据激增的背景下，传统单机数据库难以胜任。MongoDB作为流行NoSQL数据库，采用分片技术实现水平扩展，有效处理海量数据。分片将数据分散存储，提高并发处理能力和容错性，是高可用架构基石。构建MongoDB集群需理解shard、config server和router三组件协同工作原理。通过具体实例演示集群搭建流程，包括各组件的启动及配置，确保数据高可用性和系统稳定性。合理规划与实践可构建高效稳定的MongoDB集群，满足业务需求并支持未来扩展。
土木林森
126 0
VipSoft
|
4月前
|
NoSQL MongoDB Windows
MongoDB 读写分离——Windows MongoDB 副本集配置
MongoDB 读写分离——Windows MongoDB 副本集配置
VipSoft
90 0

热门文章

最新文章

  • 1
    MongoDB基础
  • 2
    Windows Server2012R2 安装MongoDB
  • 3
    MongoDB 自动删除集合中过期的数据——TTL索引
  • 4
    Adhesive框架系列文章--Mongodb数据服务模块实现（下）
  • 5
    centos6.6部署Mongodb数据库主从同步
  • 6
    CentOS 6.5安装MongoDB 2.6
  • 7
    MongoDB 应用场景 ？
  • 8
    【MongoDB学习笔记16】MongoDB的查询：find中的正则表达式
  • 9
    mongodb的安装
  • 10
    MongoDB数据库操作和程序基础文档
  • 1
    Fireworks AI和MongoDB：依托您的数据，借助优质模型，助力您开发高速AI应用
    2779
  • 2
    mongoDB查看数据的插入日志
    463
  • 3
    【MongoDB 专栏】MongoDB 在物联网（IoT）领域的应用
    508
  • 4
    【MongoDB 专栏】MongoDB 的分布式事务解决方案
    353
  • 5
    【MongoDB 专栏】MongoDB 的性能基准测试与评估
    296
  • 6
    【MongoDB 专栏】MongoDB 的内存管理与优化
    347
  • 7
    【MongoDB 专栏】MongoDB 的副本集故障转移与恢复
    358
  • 8
    【MongoDB 专栏】MongoDB 的日志管理与分析
    180
  • 9
    【MongoDB 专栏】MongoDB 与 Spring Boot 的集成实践
    247
  • 10
    【MongoDB 专栏】MongoDB 的并发控制与锁机制
    272

    • 相关课程

    更多
  • MongoDB精讲课程（下）
  • MongoDB精讲课程（上）
  • MongoDB完全自学手册
  • 云数据库MongoDB版使用教程
  • 快速掌握 MongoDB 数据库
  • MongoDB快速入门

    • 相关电子书

    更多
  • 开源数据库 MongoDB 专场 MongoDB疑难杂症分析及优化
  • MongoDB多数据中心的方案选型之路
  • 饿了么高级架构师陈东明：MongoDB是如何逐步提高可靠性的

    • 相关实验场景

    更多
  • 通过Lindorm-cli连接并使用宽表引擎
  • 基于EBS部署高性能的MySQL服务
  • 云数据库MongoDB快速入门
  • 体验PolarDB MySQL多主集群
  • 如何通过数据库Redis内网访问
  • RDS MySQL Serverless资源与负载自适应

    • 推荐镜像

    更多
  • mongodb
  • clickhouse
  • postgresql
    • 下一篇
    fs.oss.accessKeyId和fs.oss.accessKeySecret。