『MongoDB』MongoDB高可用部署架构——分片集群篇(Sharding)

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: 📣读完这篇文章里你能收获到- 为什么要使用分片- Mongodb分片集群有哪些特点- Mongodb分片集群的完整架构- Mongodb分片集群数据分布方式- Mongodb分片集群的设计思路- Mongodb分片集群搭建及扩容- 这篇文章强烈建议收藏!!!免得下次找不到

请添加图片描述
📣读完这篇文章里你能收获到

  • 为什么要使用分片
  • Mongodb分片集群有哪些特点
  • Mongodb分片集群的完整架构
  • Mongodb分片集群数据分布方式
  • Mongodb分片集群的设计思路
  • Mongodb分片集群搭建及扩容
  • 这篇文章强烈建议收藏!!!免得下次找不到

请添加图片描述

一、初识分片集群

  • 基础概念本文就不讲了,百度百科了解即可

    1 为什么要使用分片集群

  • 数据容量日益增大,访问性能日渐降低,怎么破?
  • 新品上线异常火爆,如何支撑更多的并发用户?
  • 单库已有 10TB 数据,恢复需要1-2天,如何加速?
  • 地理分布数据

    2 分片如何解决[案例]

  • 银行交易单表内10亿笔资料 超负荷运转

在这里插入图片描述

  • 把数据分成两半,放到2个库物理里

在这里插入图片描述

  • 把数据分成4部分,放到4个物理库里(以此类推)
    在这里插入图片描述

    3 MongoDB 分片集群有哪些特点

  • 应用全透明,无特殊处理
  • 数据自动均衡
  • 动态扩容,无须下线
  • 提供三种分片方式

请添加图片描述

二、Mongodb分片集群架构解剖

1 完整的分片集群

在这里插入图片描述

2 分片集群解剖:路由节点 mongos(Router)

  • 路由节点
  • 提供集群单一入口转发应用端请求
  • 选择合适数据节点进行读写合并多个数据节点的返回
  • 无状态
  • 建议至少2个
    在这里插入图片描述

    3 分片集群解剖:配置节点 Config

  • 配置(目录)节点
  • 提供集群元数据存储分片数据分布的映射
  • 普通复制集架构

在这里插入图片描述

在这里插入图片描述

4 分片集群解剖:数据节点 Shard

  • 数据节点
  • 以复制集为单位横向扩展
  • 最大1024分片
  • 分片之间数据不重复所有分片在一起才可完整工作
    在这里插入图片描述
    请添加图片描述

三、Mongodb分片集群数据分布方式

1 分片集群数据分布方式 – 基于范围

在这里插入图片描述
在这里插入图片描述

2 分片集群数据分布方式 – 基于哈希

在这里插入图片描述
在这里插入图片描述

3 分片集群数据分布方式 – 自定义Zone(区域/范围)

请添加图片描述

四、分片集群设计-如何用好分片集群

  • 分片集群可以有效解决性能瓶颈及系统扩容问题
  • 分片额外消耗较多,管理复杂,能不分片尽量不要分片

1 合理的架构

在这里插入图片描述

1.1 合理的架构 – 分片大小

  • 分片的基本标准:
  1. 关于数据:数据量不超过3TB,尽可能保持在2TB一个片

  2. 关于索引:常用索引必须容纳进内存

  • 按照以上标准初步确定分片后,还需要考虑业务压力,随着压力增大,CPU、RAM、磁盘中的任何一项出现瓶颈时,都可以通过添加更多分片来解决

1.2 合理的架构 – 需要多少个分片

  • A = 所需存储总量 / 单服务器可挂载容量
  • B = 工作集大小 / (单服务器内存容量 * 0.6)
  • C = 并发量总数 / (单服务器并发量 * 0.7)
  • 分片数量 = max(A, B, C)

举例:
所需存储总量8TB
单服务器可挂载容量 2TB
工作集大小 400GB
单服务器内存容量 256GB
并发量总数 30000
单服务器并发量 9000

除了单服务器并发量需要实际压测外,其余均可预估
A = 8TB / 2TB = 4
B = 400GB / (256G 0.6) = 3
C = 30000 / (9000
0.7) = 6
分片数量 = max(A, B, C) = 6

1.3 合理的架构 – 其他需求

  • 考虑分片的分布:
  1. 是否需要跨机房分布分片?

  2. 是否需要容灾?

  3. 高可用的要求如何?

2 正确的姿势

在这里插入图片描述

  • 各种概念由小到大:
  1. 片键 shard key:文档中的一个字段

  2. 文档 doc :包含 shard key 的一行数据

  3. 块 Chunk :包含 n 个文档

  4. 分片 Shard:包含 n 个 chunk

  5. 集群 Cluster: 包含 n 个分片

在这里插入图片描述

2.1 正确的姿势 - 选择合适片键

  • 影响片键效率的主要因素:
  1. 取值基数(Cardinality)
  2. 取值分布
  3. 分散写,集中读
  4. 被尽可能多的业务场景用到
  5. 避免单调递增或递减的片键

2.2 正确的姿势 - 选择基数大的片键

  • 对于小基数的片键:
  1. 因为备选值有限,那么块的总数量就有限

  2. 随着数据增多,块的大小会越来越大

  3. 水平扩展时移动块会非常困难

  • 例如:存储一个高中的师生数据,以年龄(假设年龄范围为15~65岁)作为片键,那么:15<=年龄<=65,且只为整数最多只会有51个 chunk

  • 结论:取值基数要大!

    2.3 正确的姿势 – 选择分布均匀的片键

  • 对于分布不均匀的片键:
  1. 造成某些块的数据量急剧增大
  2. 这些块压力随之增大
  3. 数据均衡以 chunk 为单位,所以系统无能为力
  • 例如:存储一个学校的师生数据,以年龄(假设年龄范围为15~65岁)作为片键,那么:15<=年龄<=65,且只为整数,大部分人的年龄范围为15~18岁(学生)
    15、16、17、18四个 chunk 的数据量、访问压力远大于其他 chunk

  • 结论:取值分布应尽可能均匀

3 足够的资源

在这里插入图片描述

  • mongos 与 config 通常消耗很少的资源,可以选择低规格虚拟机

  • 资源的重点在于 shard 服务器:

  1. 需要足以容纳热数据索引的内存

  2. 正确创建索引后 CPU 通常不会成为瓶颈,除非涉及非常多的计算

  3. 磁盘尽量选用 SSD

  • 最后,实际测试是最好的检验,来看你的资源配置是否完备

  • 即使项目初期已经具备了足够的资源,仍然需要考虑在合适的时候扩展。建议监控各项资源使用情况,无论哪一项达到60%以上,则开始考虑扩展,因为:

  1. 扩展需要新的资源,申请新资源需要时间
  2. 扩展后数据需要均衡,均衡需要时间。应保证新数据入库速度慢于均衡速度
  3. 均衡需要资源,如果资源即将或已经耗尽,均衡也是会很低效的

请添加图片描述

五、分片集群搭建及扩容

1 目标及流程

  • 目标:学习如何搭建一个2分片的分片集群

  • 环境:3台 Linux 虚拟机, 4 Core 8 GB

  • 步骤:
    在这里插入图片描述

2 实验架构

在这里插入图片描述
在这里插入图片描述

3 开始搭建

3.1 配置域名解析

  • 在3台虚拟机上分别执行以下3条命令,注意替换实际 IP 地址
    echo "192.168.1.1 demo1 member1.example.com member2.example.com" >> /etc/hosts
    echo "192.168.1.2 demo2 member3.example.com member4.example.com" >> /etc/hosts
    echo "192.168.1.3 demo3 member5.example.com member6.example.com" >> /etc/hosts
    

3.2 准备分片目录

  • 在各服务器上创建数据目录,我们使用 /data,请按自己需要修改为其他目录:
在member1 / member3 / member5 上执行以下命令:
mkdir -p /data/shard1/  mkdir -p /data/config/

在member2 / member4 / member6 上执行以下命令:
mkdir -p /data/shard2/  mkdir -p /data/mongos/

3.3 创建第一个分片用的复制集

在 member1 / member3 / member5 上执行以下命令:

mongod --bind_ip 0.0.0.0 --replSet shard1 --dbpath /data/shard1 --logpath
/data/shard1/mongod.log --port 27010 --fork --shardsvr --wiredTigerCacheSizeGB 1

3.4 初始化第一个分片复制集

mongo --host member1.example.com:27010  rs.initiate({
    _id: "shard1",
    "members": [
        {
            "_id": 0,
            "host": "member1.example.com:27010"
        },
        {
            "_id": 1,
            "host": "member3.example.com:27010"
        },
        {
            "_id": 2,
            "host": "member5.example.com:27010"
        }
    ]
});

3.5 创建 config server 复制集

  • 在 member1 / member3 / member5 上执行以下命令:
mongod --bind_ip 0.0.0.0 --replSet config --dbpath /data/config --logpath
/data/config/mongod.log --port 27019 --fork --configsvr --wiredTigerCacheSizeGB 1

3.6 初始化 config server 复制集

# mongo --host member1.example.com:27019  rs.initiate({
    _id: "config",
    "members": [
        {
            "_id": 0,
            "host": "member1.example.com:27019"
        },
        {
            "_id": 1,
            "host": "member3.example.com:27019"
        },
        {
            "_id": 2,
            "host": "member5.example.com:27019"
        }
    ]
});

3.7 在第一台机器上搭建 mongos

# mongos --bind_ip 0.0.0.0 --logpath /data/mongos/mongos.log --port 27017 --fork
--configdb  config/member1.example.com:27019,member3.example.com:27019,member5.example.com:27019

# 连接到mongos, 添加分片
# mongo --host member1.example.com:27017

mongos >  sh.addShard("shard1/member1.example.com:27010,member3.example.com:27010,member5
.example.com:27010");

3.8 创建分片表

# 连接到mongos, 创建分片集合
# mongo --host member1.example.com:27017

mongos > sh.status()
mongos > sh.enableSharding("foo");
mongos > sh.shardCollection("foo.bar", {_id: 'hashed'});  mongos > sh.status();

# 插入测试数据
use foo
for (var i = 0; i < 10000; i++) {  db.bar.insert({i: i});
}

3.9 创建第2个分片的复制集

  • 在 member2 / member4 / member6 上执行以下命令:
mongod --bind_ip 0.0.0.0 --replSet shard2 --dbpath /data/shard2
--logpath /data/shard2/mongod.log --port 27011 --fork --shardsvr
--wiredTigerCacheSizeGB 1

3.10 初始化第二个分片的复制集

# mongo --host member2.example.com:27011

mongo --host member1.example.com:27010  rs.initiate({
    _id: "shard2",
    "members": [
        {
            "_id": 0,
            "host": "member2.example.com:27011"
        },
        {
            "_id": 1,
            "host": "member4.example.com:27011"
        },
        {
            "_id": 2,
            "host": "member6.example.com:27011"
        }
    ]
});

3.11 加入第2个分片

# 连接到mongos, 添加分片
# mongo --host member1.example.com:27017

mongos >  sh.addShard("shard2/member2.example.com:27011,member4.example.com:27011,  member6.example.com:27011");
mongos > sh.status()
相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
81 2
|
7天前
|
Serverless 决策智能 UED
构建全天候自动化智能导购助手:从部署者的视角审视Multi-Agent架构解决方案
在构建基于多代理系统(Multi-Agent System, MAS)的智能导购助手过程中,作为部署者,我体验到了从初步接触到深入理解再到实际应用的一系列步骤。整个部署过程得到了充分的引导和支持,文档详尽全面,使得部署顺利完成,未遇到明显的报错或异常情况。尽管初次尝试时对某些复杂配置环节需反复确认,但整体流程顺畅。
|
4月前
|
负载均衡 应用服务中间件 持续交付
微服务架构下的Web服务器部署
【8月更文第28天】随着互联网应用的不断发展,传统的单体应用架构逐渐显露出其局限性,特别是在可扩展性和维护性方面。为了解决这些问题,微服务架构应运而生。微服务架构通过将应用程序分解成一系列小型、独立的服务来提高系统的灵活性和可维护性。本文将探讨如何在微服务架构中有效部署和管理Web服务器实例,并提供一些实际的代码示例。
148 0
|
1月前
|
NoSQL 容灾 MongoDB
MongoDB主备副本集方案:两台服务器使用非对称部署的方式实现高可用与容灾备份
在资源受限的情况下,为了实现MongoDB的高可用性,本文探讨了两种在两台服务器上部署MongoDB的方案。方案一是通过主备身份轮换,即一台服务器作为主节点,另一台同时部署备节点和仲裁节点;方案二是利用`priority`设置实现自动主备切换。两者相比,方案二自动化程度更高,适合追求快速故障恢复的场景,而方案一则提供了更多的手动控制选项。文章最后对比了这两种方案与标准三节点副本集的优缺点,指出三节点方案在高可用性和数据一致性方面表现更佳。
|
1月前
|
监控 安全 持续交付
构建高效的微服务架构:从设计到部署
构建高效的微服务架构:从设计到部署
25 1
|
1月前
|
Docker 微服务 容器
使用Docker Compose实现微服务架构的快速部署
使用Docker Compose实现微服务架构的快速部署
61 1
|
1月前
|
供应链 监控 安全
网络安全中的零信任架构:从概念到部署
网络安全中的零信任架构:从概念到部署
|
1月前
|
存储 NoSQL MongoDB
【赵渝强老师】部署MongoDB复制集
本文介绍了如何在单个节点上搭建MongoDB复制集环境,通过监听不同端口实现多节点配置。详细步骤包括创建数据目录、编辑配置文件、启动节点、初始化复制集、查看状态以及测试主从库的读写操作。文中还提供了视频讲解和代码示例,帮助读者更好地理解和操作。
|
3月前
|
运维 Cloud Native Devops
云原生架构的崛起与实践云原生架构是一种通过容器化、微服务和DevOps等技术手段,帮助应用系统实现敏捷部署、弹性扩展和高效运维的技术理念。本文将探讨云原生的概念、核心技术以及其在企业中的应用实践,揭示云原生如何成为现代软件开发和运营的主流方式。##
云原生架构是现代IT领域的一场革命,它依托于容器化、微服务和DevOps等核心技术,旨在解决传统架构在应对复杂业务需求时的不足。通过采用云原生方法,企业可以实现敏捷部署、弹性扩展和高效运维,从而大幅提升开发效率和系统可靠性。本文详细阐述了云原生的核心概念、主要技术和实际应用案例,并探讨了企业在实施云原生过程中的挑战与解决方案。无论是正在转型的传统企业,还是寻求创新的互联网企业,云原生都提供了一条实现高效能、高灵活性和高可靠性的技术路径。 ##
231 3
|
3月前
|
缓存 Java 应用服务中间件
随着微服务架构的兴起,Spring Boot凭借其快速开发和易部署的特点,成为构建RESTful API的首选框架
【9月更文挑战第6天】随着微服务架构的兴起,Spring Boot凭借其快速开发和易部署的特点,成为构建RESTful API的首选框架。Nginx作为高性能的HTTP反向代理服务器,常用于前端负载均衡,提升应用的可用性和响应速度。本文详细介绍如何通过合理配置实现Spring Boot与Nginx的高效协同工作,包括负载均衡策略、静态资源缓存、数据压缩传输及Spring Boot内部优化(如线程池配置、缓存策略等)。通过这些方法,开发者可以显著提升系统的整体性能,打造高性能、高可用的Web应用。
80 2