开发者社区> 余二五> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Mongodb分片(Sharding)功能实现

简介:
+关注继续查看

MongoDB 分片概述


分片

在Mongodb里面存在另一种集群,就是分片技术,可以满足MongoDB数据量大量增长的需求。

当MongoDB存储海量的数据时,一台机器可能不足以存储数据,也可能不足以提供可接受的读写吞吐量。这时,我们就可以通过在多台机器上分割数据,使得数据库系统能存储和处理更多的数据。


为什么使用分片

  • 复制所有的写入操作到主节点

  • 延迟的敏感数据会在主节点查询

  • 单个副本集限制在12个节点

  • 当请求量巨大时会出现内存不足。

  • 本地磁盘不足

  • 垂直扩展价格昂贵


MongoDB分片

下图展示了在MongoDB中使用分片集群结构分布:

sharding.png

上图中主要有如下所述三个主要组件:

  • Shard:

    用于存储实际的数据块,实际生产环境中一个shard server角色可由几台机器组个一个replica set承担,防止主机单点故障

  • Config Server:

    mongod实例,存储了整个 ClusterMetadata,其中包括 chunk信息。

  • Query Routers:

    前端路由,客户端由此接入,且让整个集群看上去像单一数据库,前端应用可以透明使用。

分片实例

192.168.1.100 :   mongos

192.168.1.110 :   config server

192.168.1.101 :   Shard1

192.168.1.102 :   Shard2

以上四个主机上都以安装mongodb数据库。

一.配置config server

编辑配置文件mongod.conf:

1
vim /etc/mongod.conf

添加如下并启用config server服务:

1
configsvr=true

重新启动mongodb服务:

1
service mongod restart

注:默认监听27019端口。也可以使用如下命令启动mongod进程。

1
# mongod --configsvr --dbpath <path> --port <port>

此时,默认端口由27017变为27019:

wKioL1jU5xDSUa-9AABB4cvrN-8860.jpg-wh_50

二.配置mongos实例

安装mongos:

1
yum install mongodb-org-mongos-2.6.1-1.x86_64.rpm

启动mongos:

1
mongos --configdb=192.168.1.110 --fork --logpath=/var/log/mongodb/mongos.log

注:mongos属于轻量级应用,完全可以与其它服务运行于同一节点;启动时,需要为mongos实例指明各config服务器的访问地址;

默认情况下,mongos监听于27017端口;可以使用如下命令启动mongos实例。

1
# mongos --configdb <config server hostnames((IP|Hostname):Port)>

也可以直接编辑配置文件:

1、注释dbpath指令;

2、添加configdb指令,并指定config服务器的地址;

而后使用如下命令启动mongos实例:

1
# mongos -f /etc/mongod.conf

登录mongos并配置shard节点:

1
2
3
4
5
mongo --host 192.168.1.100
mongos> sh.addShard("192.168.1.101")
"shardAdded" "shard0000""ok" : 1 }
mongos> sh.addShard("192.168.1.102")
"shardAdded" "shard0001""ok" : 1 }

查看shard状态:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
"_id" : 1,
"version" : 4,
"minCompatibleVersion" : 4,
"currentVersion" : 5,
"clusterId" : ObjectId("58d4bd8a102ad4bdad74aa1d")
}
  shards:
{  "_id" "shard0000",  "host" "192.168.1.101:27017" }
{  "_id" "shard0001",  "host" "192.168.1.102:27017" }
  databases:
{  "_id" "admin",  "partitioned" false,  "primary" "config" }

启动sharding功能:

1
2
mongos> sh.enableSharding("testdb");
"ok" : 1 }

注:mongodb的shard功能实现于collection级别,但若要在collection上启动shard,还需要事先其相关的数据库上启用之。在数据库上启用shard功能后,MongoDB会为其指定一个主shard。

启用过程需要mongos实例上实现,可以使用sh.enableSharding()方法,也可以使用db.runCommand()的“enableSharding命令,它们的使用格式分别如下所示:

1
2
sh.enableSharding("<database>")
db.runCommand( { enableSharding: <database> } )

此时,再次查看shard状态为:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
"_id" : 1,
"version" : 4,
"minCompatibleVersion" : 4,
"currentVersion" : 5,
"clusterId" : ObjectId("58d4bd8a102ad4bdad74aa1d")
}
  shards:
{  "_id" "shard0000",  "host" "192.168.1.101:27017" }
{  "_id" "shard0001",  "host" "192.168.1.102:27017" }
  databases:
{  "_id" "testdb",  "partitioned" true,  "primary" "shard0000" }

测试:

在collection上进行sharding:

1
2
mongos> sh.shardCollection("testdb.student",{"age":1})
"collectionsharded" "testdb.student""ok" : 1 }

插入数据:

1
2
mongos> for (i=1;i<=100000;i++) db.student.insert({name:"student"+i,age:(i%120),classes:"class+(i%10)"});
WriteResult({ "nInserted" : 1 })

此时我们再次查看sharding状态如下:

wKiom1jU7KLzU_tMAAEpDByx8Kk967.jpg-wh_50










本文转自 SoulMio 51CTO博客,原文链接:http://blog.51cto.com/bovin/1910120,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
MongoDB · 特性分析· Sharding原理与应用
MongoDB Sharded Cluster 原理 如果你还不了解 MongoDB Sharded cluster,可以先看文档认识一下 中文简介:MongoDB Sharded cluster架构原理 英文汇总:https://docs.mongodb.com/manual/sharding/ 什么时候考虑用 Sharded cluster? 当你考虑使用 Sharded
1742 0
MongoDB sharding迁移那些事(一)
如果不了解 MongoDB Sharded Cluster 原理,请先阅读 MongoDB Sharded cluster架构原理 关于MongoDB Sharding,你应该知道的 关于 sharding 迁移,会分3个部分来介绍,本文为第一部分 负载均衡及迁移策略 chunk 迁移
5458 0
【Mongodb】Mongodb sharding 管理之一
前面介绍了sharding的基本搭建和大量插入数据测试,本文介绍一些sharding相关查询操作 1 判断是否是shard 集群 mongos> db.runCommand({ isdbgrid : 1}); { "isdbgrid" : 1, "hostname" : "rac4", "ok" : 1 } mongos> db.
724 0
+关注
20376
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载