mongodb数据库分片

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: --配置config server[mongodb@rudy_01 2.6]$ mkdir 27018[mongodb@rudy_01 2.
--配置config server
[mongodb@rudy_01 2.6]$ mkdir 27018
[mongodb@rudy_01 2.6]$ mkdir log/27018

--mongo配置文件
dbpath=/usr/local/mongodb/2.6/27018
fork=1
logpath=/usr/local/mongodb/2.6/log/27018/mongo.log
port=27018
maxConns=100
oplogSize=100
logappend=true
directoryperdb=1

--启动配置服务器,配置服务器一定要先启动
 mongod -f /usr/local/mongodb/2.6/27018/mongodb.conf 


 --mongos路由配置文件
 port=4000
 configdb=rudy_01:27018
 fork=1
 logpath=/usr/local/mongodb/2.6/log/4000/mongo.log
 chunkSize=1

 --启动mongos路由
 mongos -f /usr/local/mongodb/2.6/mongos.conf 



--配置shard server
[mongodb@rudy_01 2.6]$ mkdir 27019
[mongodb@rudy_01 2.6]$ mkdir 27020
[mongodb@rudy_01 2.6]$ mkdir 27021
[mongodb@rudy_01 2.6]$ mkdir log/27019
[mongodb@rudy_01 2.6]$ mkdir log/27020
[mongodb@rudy_01 2.6]$ mkdir log/27021

--配置保个节点的配置文件
dbpath=/usr/local/mongodb/2.6/27019
fork=1
logpath=/usr/local/mongodb/2.6/log/27019/mongo.log
port=27019
maxConns=100
oplogSize=100
logappend=true
directoryperdb=1


dbpath=/usr/local/mongodb/2.6/27020
fork=1
logpath=/usr/local/mongodb/2.6/log/27020/mongo.log
port=27020
maxConns=100
oplogSize=100
logappend=true
directoryperdb=1


dbpath=/usr/local/mongodb/2.6/27021
fork=1
logpath=/usr/local/mongodb/2.6/log/27021/mongo.log
port=27021
maxConns=100
oplogSize=100
logappend=true
directoryperdb=1

--启动数据库
mongod -f /usr/local/mongodb/2.6/27019/mongodb.conf
mongod -f /usr/local/mongodb/2.6/27020/mongodb.conf
mongod -f /usr/local/mongodb/2.6/27021/mongodb.conf


--配置sharding
--登陆到路由节点
mongo admin --port 4000 
--添加shard节点
db.runCommand({"addshard":"rudy_01:27019"})
db.runCommand({"addshard":"rudy_01:27020"})
db.runCommand({"addshard":"rudy_01:27021"})
--设置分片集合名称
db.runCommand({"enablesharding":"test"})
db.runCommand({"shardcollection":"test.personalinfo",key:{_id:1}})


--验证sharding
for (var i=1;i<=100000;i++){
db.personalinfo.insert({age:i,name:"rudy"+i,addr:"上海宝山区"+i+"路",country:"中国"});
}
--查看文档状态,可知数据已经被分片处理
db.personalinfo.stats()
mongos> db.personalinfo.stats()
{
        "sharded" : true,
        "systemFlags" : 1,
        "userFlags" : 1,
        "ns" : "test.personalinfo",
        "count" : 100000,
        "numExtents" : 18,
        "size" : 11200000,
        "storageSize" : 33546240,
        "totalIndexSize" : 3270400,
        "indexSizes" : {
                "_id_" : 3270400
        },
        "avgObjSize" : 112,
        "nindexes" : 1,
        "nchunks" : 12,
        "shards" : {
                "shard0000" : {
                        "ns" : "test.personalinfo",
                        "count" : 36540,
                        "size" : 4092480,
                        "avgObjSize" : 112,
                        "storageSize" : 11182080,
                        "numExtents" : 6,
                        "nindexes" : 1,
                        "lastExtentSize" : 8388608,
                        "paddingFactor" : 1,
                        "systemFlags" : 1,
                        "userFlags" : 1,
                        "totalIndexSize" : 1193696,
                        "indexSizes" : {
                                "_id_" : 1193696
                        },
                        "ok" : 1
                },
                "shard0001" : {
                        "ns" : "test.personalinfo",
                        "count" : 31994,
                        "size" : 3583328,
                        "avgObjSize" : 112,
                        "storageSize" : 11182080,
                        "numExtents" : 6,
                        "nindexes" : 1,
                        "lastExtentSize" : 8388608,
                        "paddingFactor" : 1,
                        "systemFlags" : 0,
                        "userFlags" : 1,
                        "totalIndexSize" : 1046528,
                        "indexSizes" : {
                                "_id_" : 1046528
                        },
                        "ok" : 1
                },
                "shard0002" : {
                        "ns" : "test.personalinfo",
                        "count" : 31466,
                        "size" : 3524192,
                        "avgObjSize" : 112,
                        "storageSize" : 11182080,
                        "numExtents" : 6,
                        "nindexes" : 1,
                        "lastExtentSize" : 8388608,
                        "paddingFactor" : 1,
                        "systemFlags" : 0,
                        "userFlags" : 1,
                        "totalIndexSize" : 1030176,
                        "indexSizes" : {
                                "_id_" : 1030176
                        },
                        "ok" : 1
                }
        },
        "ok" : 1
}



--列出所有的shard server
db.runCommand({listshards:1})

--查看数据库文档分片的详细信息
db.printShardingStatus()

--判断是否是分片
db.runCommand({isdbgrid:1})


--对未分片的集合进行分片
--构建测试数据
for (var i=1;i<=100000;i++){
db.user.insert({age:i,name:"未分片的id:"+i,country:"中国"});
}
--查看文档状态
db.user.status()

--对文档进行分片
use admin
db.runCommand({"shardcollection":"test.user","key":{_id:1}})


--移除一个分片数据库,要多执行几次,查看数据库的进程状态,直到提示已完成
use admin
db.runCommand({"removeshard":"rudy_01:27021"})

--注意最后一个移除主机上的count=0,size=0 
mongos> db.user.stats()
{
        "sharded" : true,
        "systemFlags" : 1,
        "userFlags" : 1,
        "ns" : "test.user",
        "count" : 100000,
        "numExtents" : 19,
        "size" : 11200000,
        "storageSize" : 44871680,
        "totalIndexSize" : 3981712,
        "indexSizes" : {
                "_id_" : 3981712
        },
        "avgObjSize" : 112,
        "nindexes" : 1,
        "nchunks" : 22,
        "shards" : {
                "shard0000" : {
                        "ns" : "test.user",
                        "count" : 48499,
                        "size" : 5431888,
                        "avgObjSize" : 112,
                        "storageSize" : 22507520,
                        "numExtents" : 7,
                        "nindexes" : 1,
                        "lastExtentSize" : 11325440,
                        "paddingFactor" : 1,
                        "systemFlags" : 1,
                        "userFlags" : 1,
                        "totalIndexSize" : 1945888,
                        "indexSizes" : {
                                "_id_" : 1945888
                        },
                        "ok" : 1
                },
                "shard0001" : {
                        "ns" : "test.user",
                        "count" : 51501,
                        "size" : 5768112,
                        "avgObjSize" : 112,
                        "storageSize" : 11182080,
                        "numExtents" : 6,
                        "nindexes" : 1,
                        "lastExtentSize" : 8388608,
                        "paddingFactor" : 1,
                        "systemFlags" : 0,
                        "userFlags" : 1,
                        "totalIndexSize" : 2027648,
                        "indexSizes" : {
                                "_id_" : 2027648
                        },
                        "ok" : 1
                },
                "shard0002" : {
                        "ns" : "test.user",
                        "count" : 0,
                        "size" : 0,
                        "storageSize" : 11182080,
                        "numExtents" : 6,
                        "nindexes" : 1,
                        "lastExtentSize" : 8388608,
                        "paddingFactor" : 1,
                        "systemFlags" : 0,
                        "userFlags" : 1,
                        "totalIndexSize" : 8176,
                        "indexSizes" : {
                                "_id_" : 8176
                        },
                        "ok" : 1
                }
        },
        "ok" : 1
}
mongos> 

--新增分片数据库,
db.runCommand({addshard:"rudy_01:27021"})
--注意新添加的分片中不能存在已经分片的数据库,如果有要删除,否则会报错
"errmsg" : "can't add shard rudy_01:27021 because a local database 'test' exists in another shard0000:rudy_01:27019"
--此时登陆到相应的主机删除数据库则可
use test
db.runCommand( { dropDatabase: 1 } )

目录
相关文章
|
4月前
|
NoSQL MongoDB 数据库
数据库数据恢复—MongoDB数据库数据恢复案例
MongoDB数据库数据恢复环境: 一台操作系统为Windows Server的虚拟机上部署MongoDB数据库。 MongoDB数据库故障: 工作人员在MongoDB服务仍然开启的情况下将MongoDB数据库文件拷贝到其他分区,数据复制完成后将MongoDB数据库原先所在的分区进行了格式化操作。 结果发现拷贝过去的数据无法使用。管理员又将数据拷贝回原始分区,MongoDB服务仍然无法使用,报错“Windows无法启动MongoDB服务(位于 本地计算机 上)错误1067:进程意外终止。”
|
4月前
|
缓存 NoSQL Linux
在CentOS 7系统中彻底移除MongoDB数据库的步骤
以上步骤完成后,MongoDB应该会从您的CentOS 7系统中被彻底移除。在执行上述操作前,请确保已经备份好所有重要数据以防丢失。这些步骤操作需要一些基本的Linux系统管理知识,若您对某一步骤不是非常清楚,请先进行必要的学习或咨询专业人士。在执行系统级操作时,推荐在实施前创建系统快照或备份,以便在出现问题时能够恢复到原先的状态。
407 79
|
4月前
|
存储 NoSQL MongoDB
MongoDB数据库详解-针对大型分布式项目采用的原因以及基础原理和发展-卓伊凡|贝贝|莉莉
MongoDB数据库详解-针对大型分布式项目采用的原因以及基础原理和发展-卓伊凡|贝贝|莉莉
265 8
MongoDB数据库详解-针对大型分布式项目采用的原因以及基础原理和发展-卓伊凡|贝贝|莉莉
|
3月前
|
运维 NoSQL 容灾
告别运维噩梦:手把手教你将自建 MongoDB 平滑迁移至云数据库
程序员为何逃离自建MongoDB?扩容困难、运维复杂、高可用性差成痛点。阿里云MongoDB提供分钟级扩容、自动诊断与高可用保障,助力企业高效运维、降本增效,实现数据库“无感运维”。
|
7月前
|
NoSQL MongoDB 数据库
数据库数据恢复——MongoDB数据库服务无法启动的数据恢复案例
MongoDB数据库数据恢复环境: 一台Windows Server操作系统虚拟机上部署MongoDB数据库。 MongoDB数据库故障: 管理员在未关闭MongoDB服务的情况下拷贝数据库文件。将MongoDB数据库文件拷贝到其他分区后,对MongoDB数据库所在原分区进行了格式化操作。格式化完成后将数据库文件拷回原分区,并重新启动MongoDB服务。发现服务无法启动并报错。
|
JSON NoSQL Java
mongoDB导出数据库所有集合内容到json文件
网上搜了一圈,官方并有提供批量导出所有集合到json文件的方法。有不少脚本可以实现,但是我还是习惯用java,如下 package starcLL.
2322 0
|
8月前
|
存储 NoSQL MongoDB
微服务——MongoDB常用命令1——数据库操作
本节介绍了 MongoDB 中数据库的选择、创建与删除操作。使用 `use 数据库名称` 可选择或创建数据库,若数据库不存在则自动创建。通过 `show dbs` 或 `show databases` 查看所有可访问的数据库,用 `db` 命令查看当前数据库。注意,集合仅在插入数据后才会真正创建。数据库命名需遵循 UTF-8 格式,避免特殊字符,长度不超过 64 字节,且部分名称如 `admin`、`local` 和 `config` 为系统保留。删除数据库可通过 `db.dropDatabase()` 实现,主要用于移除已持久化的数据库。
580 0
|
8月前
|
存储 NoSQL MongoDB
从 MongoDB 到 时序数据库 TDengine,沃太能源实现 18 倍写入性能提升
沃太能源是国内领先储能设备生产厂商,数十万储能终端遍布世界各地。此前使用 MongoDB 存储时序数据,但随着设备测点增加,MongoDB 在存储效率、写入性能、查询性能等方面暴露出短板。经过对比,沃太能源选择了专业时序数据库 TDengine,生产效能显著提升:整体上,数据压缩率超 10 倍、写入性能提升 18 倍,查询在特定场景上也实现了数倍的提升。同时减少了技术架构复杂度,实现了零代码数据接入。本文将对 TDengine 在沃太能源的应用情况进行详解。
400 0
|
9月前
|
存储 NoSQL MongoDB
数据库数据恢复—MongoDB数据库迁移过程中丢失文件的数据恢复案例
某单位一台MongoDB数据库由于业务需求进行了数据迁移,数据库迁移后提示:“Windows无法启动MongoDB服务(位于 本地计算机 上)错误1067:进程意外终止。”
|
11月前
|
存储 JSON NoSQL
学习 MongoDB:打开强大的数据库技术大门
MongoDB 是一个基于分布式文件存储的文档数据库,由 C++ 编写,旨在为 Web 应用提供可扩展的高性能数据存储解决方案。它与 MySQL 类似,但使用文档结构而非表结构。核心概念包括:数据库(Database)、集合(Collection)、文档(Document)和字段(Field)。MongoDB 使用 BSON 格式存储数据,支持多种数据类型,如字符串、整数、数组等,并通过二进制编码实现高效存储和传输。BSON 文档结构类似 JSON,但更紧凑,适合网络传输。
420 15

热门文章

最新文章

推荐镜像

更多