分片集群Mongos到Shard请求管理

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: MongoDB Sharded Cluster 原理 如果你还不了解 MongoDB Sharded cluster,可以先看文档认识一下 中文简介:MongoDB Sharded cluster架构原理 英文汇总:https://docs.mongodb.com/manual/sharding/ Mongos 到 Shard请求管理 Mongos 是 MongoDB 分片集群的访问入口,Mongos 收到 Client 访问请求,会根据从 Config Server 获取的路由表将请求转发到后端对应的 Shard 上。

MongoDB Sharded Cluster 原理

如果你还不了解 MongoDB Sharded cluster,可以先看文档认识一下

Mongos 到 Shard请求管理

Mongos 是 MongoDB 分片集群的访问入口,Mongos 收到 Client 访问请求,会根据从 Config Server 获取的路由表将请求转发到后端对应的 Shard 上。

MongoDB-3.2 版本里,Mongos 到 Shard 的请求由一组 TaskExecutor 来执行,TaskExecutor 可以简单理解为一个任务调度器,当Mongos 需要向 Shard 发送请求时,会将调用 TaskExecutor::scheduleRemoteCommand 将请求扔给调度器,然后等待任务执行完成。

_2017_03_31_4_01_23

关于 TaskExecutor

Mongos 会根据请求的类型来选择 TaskExecutor,写请求为了保证顺序,每次都会选择一个特定的 TaskExecutor 来执行任务。对于读请求 Mongos 会采用 RoundRobin 的方式从一组TaskExecutor 中来选择一个执行(默认会初始化CPU核数个 TaskExecutor)。

TaskExecutor 包含2个重要的组成部分,负责调度逻辑的的 NetworkInterfaceThreadPool, 以及负责实际IO操作的 NetworkInterfaceASIO,使用了 boost::ASIO,将所有IO操作都异步化,它包含一个连接池(ConnectionPool),用于管理 Mongos 到 Shard 的网络连接。

当 Mongos 需要向 Shard 发请求时,就会从连接池里获取一个新的网络连接,当没有空闲的网络连接时,则会创建新的网络连接,所以当客户端到 Mongos 并发请求很多时,Mongos 到 后端 Shard 的网络连接也会很多。

关于连接池

ConnectionPool 针对每 个Shard 机器维护一个连接池,这个连接池包含4个小的池子,用于管理连接的生命周期。

  • processingPool: 正在建立的连接
  • readyPool:已经建立并且可用的连接
  • checkoutPool: 正在使用的连接
  • droppedProcessingPool:失败的连接,需要释放

连接池管理规则

  1. 连接池的总连接会控制在[minConnections, maxConnections]之间,默认为1和无穷大
  2. 当需要新建连接时,会发起一个新建连接的异步请求,并把请求放到 processingPool
  3. 当连接建立成功后,会把请求转移到readyPool ,readyPool 里的连接可以直接用于服务新的请求
  4. 服务某个请求时会从 readyPool 里取出连接后,会将连接转移到 checkOutPool,标识为正在使用
  5. 连接使用完后,会归还到 readyPool
  6. 当遇到请求失败 或 一个网络连接空闲超过1分钟时,会释放连接

总结

Mongos 里 TaskExecutor 的个数默认为机器的 CPU 核数,也可以在启动时指定;如果一个机器上部署多个 MongoDB 进程,最好调整该值,可以一定程度上降低到后端 Shard 的连接数量。
修改 TaskExecutor 的方法如下

1. 启动命令行指定

mongos --setParameter taskExecutorPoolSize=16  

2. 配置文件指定

setParameter: 
   taskExecutorPoolSize: 16
   

如果 Client 访问 Mongos 的并发特别高,修改 TaskExecutor 也无法有效的控制 Mongos 到 Shard 的连接数,因为一旦没有了空闲的连接,就会创建新的。目前 Mongos 到 Shard 最大连接数还不支持配置,如果确实有需要,可以修改源码。

src/mongo/executor/connection_pool.h

- size_t maxConnections = std::numeric_limits<size_t>::max();
+ size_t maxConnections = 10000;
相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
6月前
|
NoSQL Cloud Native MongoDB
分片集群中的分片集合
分片集群中的分片集合
|
缓存 NoSQL Shell
MongoDB系列-在复制集(replication)以及分片(Shard)中创建索引
在使用MongoDB时,在创建索引会涉及到在复制集(replication)以及分片(Shard)中创建,为了最大限度地减少构建索引的影响,在副本和分片中创建索引,使用滚动索引构建过程。
438 0
|
NoSQL 关系型数据库 MongoDB
|
存储 算法 关系型数据库
MyCat - 分片 - 分片规则 - 范围分片 | 学习笔记
快速学习 MyCat - 分片 - 分片规则 - 范围分片
74 0
MyCat - 分片 - 分片规则 - 范围分片 | 学习笔记
|
存储 NoSQL
Cassandra集群删除宕机节点
Cassandra集群删除宕机节点
Cassandra集群删除宕机节点
|
安全 NoSQL MongoDB
高可用mongodb集群(分片+副本):shard2副本重建
高可用mongodb集群(分片+副本):shard2副本重建
395 0
|
NoSQL 安全 MongoDB
高可用mongodb集群(分片+副本):用户权限配置
高可用mongodb集群(分片+副本):用户权限配置
374 0
|
搜索推荐 索引
分片分为主分片,副本分片
分片分为主分片,副本分片
147 0
|
存储 NoSQL Perl
mongodb集群方式-分片+副本集方式
分片就是水平的扩展,将数据分拆到不同的机器上,以达到存储更多的数据,处理更大的负载。可以选定将按照指定的文档键值进行分片。 配置 整体部署方案: 启动三个分片服务,两个做数据存储,另一个作为config, 配置分片的副本集,创建管理员用户,关闭mongod,打开keyfile,启动mongos,配置分片服务。
1377 0