MongoDB多存储引擎支持机制

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: Mongodb mmapv1存储引擎解析中介绍了Mongodb默认的mmapv1引擎的实现机制,在Mongodb 3.0版本中,引入了WiredTiger存储引擎,同时还有实验版本的In-memory引擎、rocks引擎,本文将介绍Mongodb是如何支持多存储引擎的。 DatabaseH

Mongodb mmapv1存储引擎解析中介绍了Mongodb默认的mmapv1引擎的实现机制,在Mongodb 3.0版本中,引入了WiredTiger存储引擎,同时还有实验版本的In-memory引擎、rocks引擎,本文将介绍Mongodb是如何支持多存储引擎的。

Alt text

DatabaseHolder

DatabaseHolder是Mongodb数据库操作的入口,提供了打开、关闭数据库的接口,其中openDb接口会创建一个Database对象。

class DatabaseHoler {
public:
    Database* openDb(string dbname);
    void close(string dbname);
    Database* get(string dbname);
pirate:
    map<string, Database*> dbs;
};

Database

Database对象代表Mongodb里的一个db,其提供关于集合操作的所有接口,包括创建、删除、重命名集合,创建Database时会根据mongod进程的storageEngine配置来决定使用哪个存储引擎。

class Database {
public:
    Collection* createCollection(string& coll_name);
    void dropCollection(string& coll_name);
    Collection* getCollection(string& coll_name);
private:
    map<string, Collection*> _collections;
};

Collection

Collection代表Mongodb里的一个集合,其提供关于文档增删改查的所有接口,这些接口最终会调用RecordStore里的相应接口实现。

class Collection {
public:
   insertDocument();
   deleteDocument();
   updateDocument();
   findDoc();
private:
   RecordStore* _recordStore;
};

GlobalEnvironmentMongoD

GlobalEnvironmentMongoD是mongod的全局运行环境信息,所有的存储引擎在启动时会先注册,mongd根据配置设置当前使用的存储引擎; 注册引擎时,提供引擎的名字(如mmapv1、wiredTiger)及用于创建引擎对象的工厂方法(工厂实现create的接口,用于创建StorageEngine对象)。

class GlobalEnvironmentMongoD {
pubic:
    void registerStorageEngine(const std::string& name,
         const StorageEngine::Factory* factory);
    void setGlobalStorageEngine(const std::string& name);
    StorageEngine* getGlobalStorageEngine();
private:
    StorageEngine* _storageEngine; // 当前存储引擎
    FactoryMap _storageFactories;
};

StorageEngine

StorageEngine定义了一系列Mongdb存储引擎需要实现的接口,是一个接口类,所有的存储引擎需继承这个类,实现自身的存储逻辑。

getDatabaseCatalogEntry接口用于获取一个DatabaseCatalogEntry对象,该对象实现了关于集合、文档操作的接口。

class StorageEngine {
public:
    DatabaseCatalogEntry* getDatabaseCatalogEntry(string& ns);
    void listDatabases( std::vector<std::string>* out );
};

class DatabaseCatalogEntry {
public:
    createCollection();
    dropCollection();
    getRecordStore();  /* 实现文档操作接口 */
};

MMAPV1StorageEngine

MMAPV1StorageEngine包含了mmapv1存储引擎的所有实现逻辑。

KVStorageEngine

KVStorageEngine实际上不是一个真正存储引擎的实现,只是为了方便接入wiredTiger、rocks等KV类型的存储引擎而增加的一个抽象层。

KVStorageEngine实现了StorageEngine的接口,但其实现由KVEngine类代理,wiredTiger等KV存储引擎接入mongdb时,只需实现KVEngine定义的接口即可。

WiredTigerKVEngine

WiredTigerKVEngine继承KVEgine,实现KVEngine的接口,其他的引擎如RocksEngine类似。

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
JSON NoSQL MongoDB
mongodb基本操作,增删改查,查询,索引,权限机制
mongodb基本操作,增删改查,查询,索引,权限机制
|
12天前
|
存储 NoSQL MongoDB
【赵渝强老师】MongoDB的MMAPv1存储引擎
在MongoDB 3.2版本之前,默认使用MMAPv1存储引擎。MMAPv1包括Database、Namespace、数据文件、Extent和Record等组件。每个Database由名称空间文件和数据文件组成,数据文件按编号递增,大小从64MB到2GB。每个数据文件被划分为多个Extent,每个Extent包含多个Record,对应MongoDB中的文档。通过一个示例展示了如何配置和使用MMAPv1存储引擎。
|
12天前
|
存储 缓存 NoSQL
【赵渝强老师】MongoDB的WiredTiger存储引擎
MongoDB WiredTiger存储引擎自3.2版本起成为默认选择,提供文档级别的并发控制、检查点、数据压缩和本地加密等功能。本文详细介绍了WiredTiger的并发控制机制、预写日志与检查点、内存使用、数据压缩及磁盘空间回收等特性。
|
12天前
|
存储 NoSQL MongoDB
【赵渝强老师】MongoDB的In-Memory存储引擎
MongoDB的In-Memory存储引擎将数据存储在内存中,显著减少查询延迟,提高性能。该引擎不会将数据持久化到硬盘,仅在内存中存储,因此重启后数据会丢失。本文通过创建目录、配置文件、启动服务、插入数据和查询等步骤,详细演示了如何使用In-Memory存储引擎。
|
12天前
|
存储 NoSQL MongoDB
【赵渝强老师】MongoDB的存储引擎
存储引擎是MongoDB的核心组件,负责管理数据在硬盘和内存中的存储方式。从3.2版本起,MongoDB支持WiredTiger、MMAPv1和In-Memory三种存储引擎。WiredTiger为默认引擎,提供文档级并发控制和数据压缩;MMAPv1在3.2版本前为默认引擎,4.x版本后不再支持;In-Memory引擎将数据存储在内存中,减少查询延迟。
|
3月前
|
NoSQL 安全 MongoDB
【MongoDB深度揭秘】你的更新操作真的安全了吗?MongoDB fsync机制大起底,数据持久化不再是谜!
【8月更文挑战第24天】MongoDB是一款备受欢迎的NoSQL数据库,以其灵活的文档模型和强大的查询能力著称。处理关键业务数据时,数据持久化至关重要。本文深入探讨MongoDB的写入机制,特别是更新操作时的fsync行为。MongoDB先将数据更新至内存以提升性能,而非直接写入磁盘。fsync的作用是确保数据从内存同步到磁盘,但MongoDB并非每次更新后都立即执行fsync。通过设置不同的写入关注级别(如w:0、w:1和w:majority),可以平衡数据持久性和性能。
50 1
|
3月前
|
持续交付 C# 敏捷开发
“敏捷之道:揭秘WPF项目中的快速迭代与持续交付——从需求管理到自动化测试,打造高效开发流程的全方位指南”
【8月更文挑战第31天】敏捷开发是一种注重快速迭代和持续交付的软件开发方法,通过短周期开发提高产品质量并快速响应变化。本文通过问题解答形式,探讨在Windows Presentation Foundation(WPF)项目中应用敏捷开发的最佳实践,涵盖需求管理、版本控制、自动化测试及持续集成等方面,并通过具体示例代码展示其实施过程,帮助团队提升代码质量和开发效率。
72 0
|
6月前
|
NoSQL MongoDB 数据库
【MongoDB 专栏】MongoDB 的并发控制与锁机制
【5月更文挑战第11天】MongoDB的并发控制和锁机制保证数据一致性和性能。全局锁用于特殊情况如数据库初始化,限制并发性能;文档级锁提供更高的并发性,针对单个文档锁定。乐观并发控制利用版本号检查减少锁竞争。在分布式环境下,需协调多节点锁,优化包括合理设计数据模型、调整锁配置和利用分布式事务。未来,MongoDB将持续改进这些机制以应对复杂需求。了解并发控制原理对于数据库开发者至关重要。
255 2
【MongoDB 专栏】MongoDB 的并发控制与锁机制
|
6月前
|
存储 监控 NoSQL
【MongoDB 专栏】MongoDB 的存储引擎选择与优化
【5月更文挑战第11天】MongoDB 的存储引擎选择与优化至关重要,影响数据库性能、可靠性和可扩展性。常见引擎有默认的 WiredTiger(提供高性能读写、文档级并发控制和压缩)和较旧的 MMAPv1。选择引擎需考虑性能需求、数据规模、并发操作和压缩需求。WiredTiger 以其高性能和并发控制脱颖而出。优化策略包括配置参数、规划数据结构、监控性能和定期维护。案例显示,WiredTiger 对于并发访问频繁的电商平台尤为适合。未来,更高效、智能的存储引擎将应运而生,持续优化将是保持数据库系统竞争力的关键。
118 2
【MongoDB 专栏】MongoDB 的存储引擎选择与优化
|
4月前
|
存储 NoSQL 关系型数据库
MongoDB的配置服务器和复制机制
【7月更文挑战第2天】MongoDB配置服务器存储分片和权限元数据,支持在主节点故障时保持读服务。关键组件,性能影响显著。复制集包含Primary和Secondary,通过oplog实现数据同步,类似MySQL binlog。oplog的幂等性可能导致大量set操作,且大小受限,可能导致从节点需全量同步。读写分离提升效率,主从切换确保高可用。
52 0

相关产品

  • 云数据库 MongoDB 版