公司的实战Replica Sets+Sharding方案采用配置文件2

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介:

公司的实战Replica Sets+Sharding方案采用配置文件2

公司mongo集群分片实战

服务器三台

 

 

                                     主机1172.16.0.115  主机2172.16.0.114  主机3172.16.0.103

第一片(11731)                                                            副本                                               仲裁

 

第二片(11732)                  仲裁                                                                                      副本

 

第三片(11733)                  副本                                     仲裁                                               

                           

         30000                          config Server          config Server                     config Server

 

         60000                         Route Process                    Route Process                    Route Process

 

 

创建数据库目录

主机1172.16.0.115)配置文件

[root@mongodb115 ~]# mkdir -p /home/data/shard1_1

[root@mongodb115 ~]# mkdir -p /home/data/shard2_1

[root@mongodb115 ~]# mkdir -p /home/data/shard3_1

[root@mongodb115 ~]# mkdir -p /home/data/config                       #config server目录

[root@mongodb115 ~]# mkdir -p /home/config           #放配置文件

[root@mongodb115 ~]# mkdir -p /home/data/logs

 

分片1

[root@mongodb115 config]# cat shard1_1.conf

port=11731

dbpath=/home/data/shard1_1

logpath=/home/data/logs/shard1_1.log

directoryperdb=true

logappend=true

replSet=shard1

#bind_ip=172.16.0.115

shardsvr=true

fork=true

pidfilepath=/home/data/shard1_1.pid

maxConns=20000

oplogSize=5000

noprealloc=true

nohttpinterface=true

分片2

[root@mongodb115 config]# cat shard2_1.conf

port=11732

dbpath=/home/data/shard2_1

logpath=/home/data/logs/shard2_1.log

directoryperdb=true

logappend=true

replSet=shard2

#bind_ip=172.16.0.115

shardsvr=true

fork=true

pidfilepath=/home/data/shard2_1.pid

maxConns=20000

oplogSize=5000

noprealloc=true 

nohttpinterface=true 

分片3

[root@mongodb115 config]# cat shard3_1.conf

port=11733

dbpath=/home/data/shard3_1

logpath=/home/data/logs/shard3_1.log

directoryperdb=true

logappend=true

replSet=shard3

#bind_ip=172.16.0.115

shardsvr=true

fork=true

pidfilepath=/home/data/shard3_1.pid

maxConns=20000

oplogSize=5000

noprealloc=true

nohttpinterface=true

config  server 配置文件

[root@mongodb115 config]# cat config.conf

port=30000

dbpath=/home/data/config

logpath=/home/data/logs/config.log

directoryperdb=true

configsvr=true

logappend=true

#bind_ip=172.16.0.115

fork=true

pidfilepath=/home/data/config.pid

maxConns=20000

oplogSize=5000

noprealloc=true

nohttpinterface=true

Route Proces 配置文件

[root@mongodb115 config]# cat mongos.conf

port=60000

logpath=/home/data/logs/mongos.log

logappend=true

configdb=172.16.0.115:30000,172.16.0.114:30000,172.16.0.103:30000

#bind_ip=172.16.0.115

fork=true

pidfilepath=/home/data/mongos.pid

chunkSize=5

maxConns=20000

nohttpinterface=true

主机2172.16.0.114)配置文件

[root@mongodb114 ~]# mkdir -p /home/data/shard1_2

[root@mongodb114 ~]# mkdir -p /home/data/shard2_2

[root@mongodb114 ~]# mkdir -p /home/data/shard3_2

[root@mongodb114 ~]# mkdir -p /home/data/config                       #config server目录

[root@mongodb114 ~]# mkdir -p /home/config           #放配置文件

[root@mongodb114 ~]# mkdir -p /home/data/logs

 

分片1

[root@mongodb114 config]# cat shard1_2.conf

port=11731

dbpath=/home/data/shard1_2

logpath=/home/data/logs/shard1_2.log

directoryperdb=true

logappend=true

replSet=shard1

#bind_ip=172.16.0.114

shardsvr=true

fork=true

pidfilepath=/home/data/shard1_2.pid

maxConns=20000

oplogSize=5000

noprealloc=true

nohttpinterface=true

分片2

[root@mongodb114config]# cat shard2_2.conf

port=11732

dbpath=/home/data/shard2_2

logpath=/home/data/logs/shard2_2.log

directoryperdb=true

logappend=true

replSet=shard2

#bind_ip=172.16.0.114

shardsvr=true

fork=true

pidfilepath=/home/data/shard2_2.pid

maxConns=20000

oplogSize=5000

noprealloc=true

nohttpinterface=true

分片3

[root@mongodb114 config]# cat shard3_2.conf

port=11733

dbpath=/home/data/shard3_2

logpath=/home/data/logs/shard3_2.log

directoryperdb=true

logappend=true

replSet=shard3

#bind_ip=172.16.0.114

shardsvr=true

fork=true

pidfilepath=/home/data/shard3_2.pid

maxConns=20000

oplogSize=5000

noprealloc=true

nohttpinterface=true

config  server 配置文件

[root@mongodb114 config]# cat config.conf

port=30000

dbpath=/home/data/config

logpath=/home/data/logs/config.log

directoryperdb=true

configsvr=true

logappend=true

#bind_ip=172.16.0.114

fork=true

pidfilepath=/home/data/config.pid

maxConns=20000

oplogSize=5000

noprealloc=true

nohttpinterface=true

Route Proces 配置文件

[root@mongodb114 config]# cat mongos.conf

port=60000

logpath=/home/data/logs/mongos.log

logappend=true

configdb=172.16.0.115:30000,172.16.0.114:30000,172.16.0.103:30000

#bind_ip=172.16.0.114

fork=true

pidfilepath=/home/data/mongos.pid

chunkSize=5

maxConns=20000

nohttpinterface=true

 

主机3172.16.0.103)配置文件

[root@mongodb103 ~]# mkdir -p /home/data/shard1_3

[root@mongodb103 ~]# mkdir -p /home/data/shard2_3

[root@mongodb103 ~]# mkdir -p /home/data/shard3_3

[root@mongodb103 ~]# mkdir -p /home/data/config                       #config server目录

[root@mongodb103 ~]# mkdir -p /home/config           #放配置文件

[root@mongodb103 ~]# mkdir -p /home/data/logs

 

分片1

[root@mongodb103 config]# cat shard1_3.conf

port=11731

dbpath=/home/data/shard1_3

logpath=/home/data/logs/shard1_3.log

directoryperdb=true

logappend=true

replSet=shard1

#bind_ip=172.16.0.103

shardsvr=true

fork=true

pidfilepath=/home/data/shard1_3.pid

maxConns=20000

oplogSize=5000

noprealloc=true

nohttpinterface=true

分片2

[root@mongodb103 config]# cat shard2_3.conf

port=11732

dbpath=/home/data/shard2_3

logpath=/home/data/logs/shard2_3.log

directoryperdb=true

logappend=true

replSet=shard2

#bind_ip=172.16.0.103

shardsvr=true

fork=true

pidfilepath=/home/data/shard2_3.pid

maxConns=20000

oplogSize=5000

noprealloc=true

nohttpinterface=true

分片3

[root@mongodb103 config]# cat shard3_3.conf

port=11733

dbpath=/home/data/shard3_3

logpath=/home/data/logs/shard3_3.log

directoryperdb=true

logappend=true

replSet=shard3

#bind_ip=172.16.0.103

shardsvr=true

fork=true

pidfilepath=/home/data/shard3_3.pid

maxConns=20000

oplogSize=5000

noprealloc=true

nohttpinterface=true

config  server 配置文件

[root@mongodb103 config]# cat config.conf

port=30000

dbpath=/home/data/config

logpath=/home/data/logs/config.log

directoryperdb=true

configsvr=true

logappend=true

#bind_ip=172.16.0.103

fork=true

pidfilepath=/home/data/config.pid

maxConns=20000

oplogSize=5000

noprealloc=true

nohttpinterface=true

Route Proces 配置文件

[root@mongodb103 config]# cat mongos.conf

port=60000

logpath=/home/data/logs/mongos.log

logappend=true

configdb=172.16.0.115:30000,172.16.0.114:30000,172.16.0.103:30000

#bind_ip=172.16.0.103

fork=true

pidfilepath=/home/data/mongos.pid

chunkSize=5

maxConns=20000

nohttpinterface=true

解压mongodb文件

主机1

[root@mongodb115 ~]# tar zxvf mongodb-linux-x86_64-2.4.7.tgz

[root@mongodb115 ~]# mv mongodb-linux-x86_64-2.4.7 /home/mongodb

主机2

[root@mongodb114 ~]# tar zxvf mongodb-linux-x86_64-2.4.7.tgz

[root@mongodb114 ~]# mv mongodb-linux-x86_64-2.4.7 /home/mongodb

主机3

[root@mongodb103 ~]# tar zxvf mongodb-linux-x86_64-2.4.7.tgz

[root@mongodb103 ~]# mv mongodb-linux-x86_64-2.4.7 /home/mongodb

 

 

启动shard1,shard2,shard3

主机1

[root@mongodb115 ~]# /home/mongodb/bin/mongod -f /home/config/shard1_1.conf

[root@mongodb115 ~]# /home/mongodb/bin/mongod -f /home/config/shard2_1.conf

[root@mongodb115 ~]# /home/mongodb/bin/mongod -f /home/config/shard3_1.conf

 

主机2

[root@mongodb114 ~]# /home/mongodb/bin/mongod -f /home/config/shard1_2.conf

[root@mongodb114 ~]# /home/mongodb/bin/mongod -f /home/config/shard2_2.conf

[root@mongodb114 ~]# /home/mongodb/bin/mongod -f /home/config/shard3_2.conf

 

主机3

[root@mongodb103 ~]# /home/mongodb/bin/mongod -f /home/config/shard1_3.conf

[root@mongodb103 ~]# /home/mongodb/bin/mongod -f /home/config/shard2_3.conf

[root@mongodb103 ~]# /home/mongodb/bin/mongod -f /home/config/shard3_3.conf

 

配置Replica Sets

配置分片1  172.16.0.115上配置

[root@mongodb115 ~]# /home/mongodb/bin/mongo --port 11731

MongoDB shell version: 2.4.7

connecting to: 127.0.0.1:11731/test

>config={_id:'shard1',members:[{_id:0,host:'172.16.0.115:11731' ,priority:2},{_id:1,host:'172.16.0.114:11731'},{_id:2,host:'172.16.0.103:11731',arbiterOnly:true}]}

 

rs.initiate(config)

 

 

配置分片2  172.16.0.114上配置

[root@mongodb114 ~]# /home/mongodb/bin/mongo --port 11732

MongoDB shell version: 2.4.7

connecting to: 127.0.0.1:11732/test

>config={_id:'shard2',members:[{_id:0,host:'172.16.0.115:11732',arbiterOnly:true},{_id:1,host:'172.16.0.114:11732',priority:2},{_id:2,host:'172.16.0.103:11732' }]}

 

rs.initiate(config)

 

 

配置分片3  172.16.0.103上配置 members里面的优先级priority值高的为主节点,对于仲裁点一定要加上arbiterOnly:true

[root@mongodb103 ~]# /home/mongodb/bin/mongo --port 11733

MongoDB shell version: 2.4.7

connecting to: 127.0.0.1:11733/test

>config={_id:'shard3',members:[{_id:0,host:'172.16.0.115:11733'},{_id:1,host:'172.16.0.114:11733',arbiterOnly:true },{_id:2,host:'172.16.0.103:11733',priority:2 }]}

 

rs.initiate(config)

 

 

启动3config server

主机1

[root@mongodb115 ~]# /home/mongodb/bin/mongod  -f /home/config/config.conf

 

主机2

[root@mongodb114 ~]# /home/mongodb/bin/mongod  -f /home/config/config.conf

 

主机3

[root@mongodb103 ~]# /home/mongodb/bin/mongod  -f /home/config/config.conf

 

启动3 Route Process

主机1

[root@mongodb115 ~]# /home/mongodb/bin/mongos -f /home/config/mongos.conf

主机2

[root@mongodb114 ~]# /home/mongodb/bin/mongos -f /home/config/mongos.conf

 

主机3

[root@mongodb103 ~]# /home/mongodb/bin/mongos -f /home/config/mongos.conf

 

配置shard Cluser

[root@mongodb115 ~]# /home/mongodb/bin/mongo --port 60000

MongoDB shell version: 2.4.7

connecting to: 127.0.0.1:60000/test

mongos> use admin

switched to db admin

mongos>db.runCommand({addshard:"shard1/172.16.0.115:11731, 172.16.0.114:11731, 172.16.0.103:11731"})

 

mongos>db.runCommand({addshard:"shard2/172.16.0.115:11732, 172.16.0.114:11732, 172.16.0.103:11732"})

 

mongos> db.runCommand({addshard:"shard3/172.16.0.115:11733, 172.16.0.114:11733, 172.16.0.103:11733"})

 

接下来激活分片,如下面的代码所示:    采用hash分片

db.runCommand({enablesharding:"test"})

db.runCommand({shardcollection:"test.users",key:{id:"hashed"}})

 

 

 

强调服务时间必须要同步,否则有问题

 

 

 

 

 

 本文转自 jxzhfei  51CTO博客,原文链接:http://blog.51cto.com/jxzhfei/1440842

 



相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
SQL 关系型数据库 MySQL
ShardingSphere-Sharding-Proxy(安装和分表配置)| 学习笔记
快速学习ShardingSphere-Sharding-Proxy(安装和分表配置)。
990 0
ShardingSphere-Sharding-Proxy(安装和分表配置)| 学习笔记
|
4月前
|
监控 负载均衡 关系型数据库
MySQL技能完整学习列表13、MySQL高级特性——1、分区表(Partitioning)——2、复制(Replication)——3、集群(Clustering)
MySQL技能完整学习列表13、MySQL高级特性——1、分区表(Partitioning)——2、复制(Replication)——3、集群(Clustering)
80 0
|
存储 SQL 数据挖掘
理解 Databend Cluster key 原理及使用
Databend Cluster Key 是指 Databend 可以按声明的 key 排序存储,主要用于用户对时间响应比较高,同时愿意为这个 cluster key 进行额排序操作的用户。 Databend 只支持一个 Cluster key,Cluster key 中可以包含多列及表达式。
67 0
|
存储 NoSQL 关系型数据库
【Cassandra从入门到放弃系列 二】Column-based存储模式
【Cassandra从入门到放弃系列 二】Column-based存储模式
236 0
|
缓存 前端开发 安全
白话Elasticsearch70-ES生产集群部署之production mode下启动时的bootstrap check
白话Elasticsearch70-ES生产集群部署之production mode下启动时的bootstrap check
113 0
|
NoSQL Redis
Redis进阶-Redis集群 【高可用切换】&【cluster-require-full-coverage】集群是否完整才能对外提供服务
Redis进阶-Redis集群 【高可用切换】&【cluster-require-full-coverage】集群是否完整才能对外提供服务
183 0
|
存储 NoSQL 网络协议
MongoDB系列-复制集(Replica Set)应用部署(生产、测试、开发环境)
通过在不同的计算机上托管mongod实例来尽可能多地保持成员之间的分离。将虚拟机用于生产部署时,应将每个mongod实例放置在由冗余电源电路和冗余网络路径提供服务的单独主机服务器上,而且尽可能的将副本集的每个成员部署到自己的计算机绑定到标准的MongoDB端口27017。
485 0
|
NoSQL
An Insight into MongoDB Sharding Chunk Splitting and Migration
Sharding is a method of data distribution across multiple machines. MongoDB uses sharding to support deployments with very large data sets and high throughput operations.
3079 0