mongodb数据库分片

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: --配置config server[mongodb@rudy_01 2.6]$ mkdir 27018[mongodb@rudy_01 2.
--配置config server
[mongodb@rudy_01 2.6]$ mkdir 27018
[mongodb@rudy_01 2.6]$ mkdir log/27018

--mongo配置文件
dbpath=/usr/local/mongodb/2.6/27018
fork=1
logpath=/usr/local/mongodb/2.6/log/27018/mongo.log
port=27018
maxConns=100
oplogSize=100
logappend=true
directoryperdb=1

--启动配置服务器,配置服务器一定要先启动
 mongod -f /usr/local/mongodb/2.6/27018/mongodb.conf 


 --mongos路由配置文件
 port=4000
 configdb=rudy_01:27018
 fork=1
 logpath=/usr/local/mongodb/2.6/log/4000/mongo.log
 chunkSize=1

 --启动mongos路由
 mongos -f /usr/local/mongodb/2.6/mongos.conf 



--配置shard server
[mongodb@rudy_01 2.6]$ mkdir 27019
[mongodb@rudy_01 2.6]$ mkdir 27020
[mongodb@rudy_01 2.6]$ mkdir 27021
[mongodb@rudy_01 2.6]$ mkdir log/27019
[mongodb@rudy_01 2.6]$ mkdir log/27020
[mongodb@rudy_01 2.6]$ mkdir log/27021

--配置保个节点的配置文件
dbpath=/usr/local/mongodb/2.6/27019
fork=1
logpath=/usr/local/mongodb/2.6/log/27019/mongo.log
port=27019
maxConns=100
oplogSize=100
logappend=true
directoryperdb=1


dbpath=/usr/local/mongodb/2.6/27020
fork=1
logpath=/usr/local/mongodb/2.6/log/27020/mongo.log
port=27020
maxConns=100
oplogSize=100
logappend=true
directoryperdb=1


dbpath=/usr/local/mongodb/2.6/27021
fork=1
logpath=/usr/local/mongodb/2.6/log/27021/mongo.log
port=27021
maxConns=100
oplogSize=100
logappend=true
directoryperdb=1

--启动数据库
mongod -f /usr/local/mongodb/2.6/27019/mongodb.conf
mongod -f /usr/local/mongodb/2.6/27020/mongodb.conf
mongod -f /usr/local/mongodb/2.6/27021/mongodb.conf


--配置sharding
--登陆到路由节点
mongo admin --port 4000 
--添加shard节点
db.runCommand({"addshard":"rudy_01:27019"})
db.runCommand({"addshard":"rudy_01:27020"})
db.runCommand({"addshard":"rudy_01:27021"})
--设置分片集合名称
db.runCommand({"enablesharding":"test"})
db.runCommand({"shardcollection":"test.personalinfo",key:{_id:1}})


--验证sharding
for (var i=1;i<=100000;i++){
db.personalinfo.insert({age:i,name:"rudy"+i,addr:"上海宝山区"+i+"路",country:"中国"});
}
--查看文档状态,可知数据已经被分片处理
db.personalinfo.stats()
mongos> db.personalinfo.stats()
{
        "sharded" : true,
        "systemFlags" : 1,
        "userFlags" : 1,
        "ns" : "test.personalinfo",
        "count" : 100000,
        "numExtents" : 18,
        "size" : 11200000,
        "storageSize" : 33546240,
        "totalIndexSize" : 3270400,
        "indexSizes" : {
                "_id_" : 3270400
        },
        "avgObjSize" : 112,
        "nindexes" : 1,
        "nchunks" : 12,
        "shards" : {
                "shard0000" : {
                        "ns" : "test.personalinfo",
                        "count" : 36540,
                        "size" : 4092480,
                        "avgObjSize" : 112,
                        "storageSize" : 11182080,
                        "numExtents" : 6,
                        "nindexes" : 1,
                        "lastExtentSize" : 8388608,
                        "paddingFactor" : 1,
                        "systemFlags" : 1,
                        "userFlags" : 1,
                        "totalIndexSize" : 1193696,
                        "indexSizes" : {
                                "_id_" : 1193696
                        },
                        "ok" : 1
                },
                "shard0001" : {
                        "ns" : "test.personalinfo",
                        "count" : 31994,
                        "size" : 3583328,
                        "avgObjSize" : 112,
                        "storageSize" : 11182080,
                        "numExtents" : 6,
                        "nindexes" : 1,
                        "lastExtentSize" : 8388608,
                        "paddingFactor" : 1,
                        "systemFlags" : 0,
                        "userFlags" : 1,
                        "totalIndexSize" : 1046528,
                        "indexSizes" : {
                                "_id_" : 1046528
                        },
                        "ok" : 1
                },
                "shard0002" : {
                        "ns" : "test.personalinfo",
                        "count" : 31466,
                        "size" : 3524192,
                        "avgObjSize" : 112,
                        "storageSize" : 11182080,
                        "numExtents" : 6,
                        "nindexes" : 1,
                        "lastExtentSize" : 8388608,
                        "paddingFactor" : 1,
                        "systemFlags" : 0,
                        "userFlags" : 1,
                        "totalIndexSize" : 1030176,
                        "indexSizes" : {
                                "_id_" : 1030176
                        },
                        "ok" : 1
                }
        },
        "ok" : 1
}



--列出所有的shard server
db.runCommand({listshards:1})

--查看数据库文档分片的详细信息
db.printShardingStatus()

--判断是否是分片
db.runCommand({isdbgrid:1})


--对未分片的集合进行分片
--构建测试数据
for (var i=1;i<=100000;i++){
db.user.insert({age:i,name:"未分片的id:"+i,country:"中国"});
}
--查看文档状态
db.user.status()

--对文档进行分片
use admin
db.runCommand({"shardcollection":"test.user","key":{_id:1}})


--移除一个分片数据库,要多执行几次,查看数据库的进程状态,直到提示已完成
use admin
db.runCommand({"removeshard":"rudy_01:27021"})

--注意最后一个移除主机上的count=0,size=0 
mongos> db.user.stats()
{
        "sharded" : true,
        "systemFlags" : 1,
        "userFlags" : 1,
        "ns" : "test.user",
        "count" : 100000,
        "numExtents" : 19,
        "size" : 11200000,
        "storageSize" : 44871680,
        "totalIndexSize" : 3981712,
        "indexSizes" : {
                "_id_" : 3981712
        },
        "avgObjSize" : 112,
        "nindexes" : 1,
        "nchunks" : 22,
        "shards" : {
                "shard0000" : {
                        "ns" : "test.user",
                        "count" : 48499,
                        "size" : 5431888,
                        "avgObjSize" : 112,
                        "storageSize" : 22507520,
                        "numExtents" : 7,
                        "nindexes" : 1,
                        "lastExtentSize" : 11325440,
                        "paddingFactor" : 1,
                        "systemFlags" : 1,
                        "userFlags" : 1,
                        "totalIndexSize" : 1945888,
                        "indexSizes" : {
                                "_id_" : 1945888
                        },
                        "ok" : 1
                },
                "shard0001" : {
                        "ns" : "test.user",
                        "count" : 51501,
                        "size" : 5768112,
                        "avgObjSize" : 112,
                        "storageSize" : 11182080,
                        "numExtents" : 6,
                        "nindexes" : 1,
                        "lastExtentSize" : 8388608,
                        "paddingFactor" : 1,
                        "systemFlags" : 0,
                        "userFlags" : 1,
                        "totalIndexSize" : 2027648,
                        "indexSizes" : {
                                "_id_" : 2027648
                        },
                        "ok" : 1
                },
                "shard0002" : {
                        "ns" : "test.user",
                        "count" : 0,
                        "size" : 0,
                        "storageSize" : 11182080,
                        "numExtents" : 6,
                        "nindexes" : 1,
                        "lastExtentSize" : 8388608,
                        "paddingFactor" : 1,
                        "systemFlags" : 0,
                        "userFlags" : 1,
                        "totalIndexSize" : 8176,
                        "indexSizes" : {
                                "_id_" : 8176
                        },
                        "ok" : 1
                }
        },
        "ok" : 1
}
mongos> 

--新增分片数据库,
db.runCommand({addshard:"rudy_01:27021"})
--注意新添加的分片中不能存在已经分片的数据库,如果有要删除,否则会报错
"errmsg" : "can't add shard rudy_01:27021 because a local database 'test' exists in another shard0000:rudy_01:27019"
--此时登陆到相应的主机删除数据库则可
use test
db.runCommand( { dropDatabase: 1 } )

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
目录
相关文章
|
22天前
|
运维 监控 NoSQL
【MongoDB 复制集秘籍】Secondary 同步慢怎么办?深度解析与实战指南,让你的数据库飞速同步!
【8月更文挑战第24天】本文通过一个具体案例探讨了MongoDB复制集中Secondary成员同步缓慢的问题。现象表现为数据延迟增加,影响业务运行。经分析,可能的原因包括硬件资源不足、网络状况不佳、复制日志错误等。解决策略涵盖优化硬件(如增加内存、升级CPU)、调整网络配置以减少延迟以及优化MongoDB配置(例如调整`oplogSize`、启用压缩)。通过这些方法可有效提升同步效率,保证系统的稳定性和性能。
36 4
|
21天前
|
存储 负载均衡 安全
高效管理大型数据库:分片与复制的策略与实践
在当今数据驱动的世界中,管理和优化大型数据库系统是每个企业的关键任务。特别是在面对数据量迅速增长的情况下,如何确保系统的高可用性和性能成为重要挑战。本文探讨了两种核心技术——分片(Sharding)和复制(Replication),以及它们在实际应用中的策略与实践。通过对比这两种技术的优缺点,并结合具体案例分析,本文旨在为数据库管理员和开发者提供一套高效管理大型数据库的综合方案。
|
26天前
|
监控 NoSQL MongoDB
MongoDB数据库的索引管理技巧
【8月更文挑战第20天】MongoDB数据库的索引管理技巧
42 1
|
26天前
|
监控 NoSQL MongoDB
mongodb数据库 使用技巧
【8月更文挑战第20天】mongodb数据库 使用技巧
34 1
|
1月前
|
JSON NoSQL Ubuntu
在Ubuntu 14.04上如何备份、恢复和迁移MongoDB数据库
在Ubuntu 14.04上如何备份、恢复和迁移MongoDB数据库
51 1
|
14天前
|
C# 开发者 Windows
全面指南:WPF无障碍设计从入门到精通——让每一个用户都能无障碍地享受你的应用,从自动化属性到焦点导航的最佳实践
【8月更文挑战第31天】为了确保Windows Presentation Foundation (WPF) 应用程序对所有用户都具备无障碍性,开发者需关注无障碍设计原则。这不仅是法律要求,更是社会责任,旨在让技术更人性化,惠及包括视障、听障及行动受限等用户群体。
38 0
|
14天前
|
Java 前端开发 Spring
技术融合新潮流!Vaadin携手Spring Boot、React、Angular,引领Web开发变革,你准备好了吗?
【8月更文挑战第31天】本文探讨了Vaadin与Spring Boot、React及Angular等主流技术栈的最佳融合实践。Vaadin作为现代Java Web框架,与其他技术栈结合能更好地满足复杂应用需求。文中通过示例代码展示了如何在Spring Boot项目中集成Vaadin,以及如何在Vaadin项目中使用React和Angular组件,充分发挥各技术栈的优势,提升开发效率和用户体验。开发者可根据具体需求选择合适的技术组合。
27 0
|
1月前
|
JSON NoSQL MongoDB
在Ubuntu 14.04上如何导入和导出MongoDB数据库
在Ubuntu 14.04上如何导入和导出MongoDB数据库
15 0
|
19天前
|
弹性计算 关系型数据库 数据库
手把手带你从自建 MySQL 迁移到云数据库,一步就能脱胎换骨
阿里云瑶池数据库来开课啦!自建数据库迁移至云数据库 RDS原来只要一步操作就能搞定!点击阅读原文完成实验就可获得一本日历哦~
|
22天前
|
关系型数据库 MySQL 数据库
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决