NoSQL数据库

本文主要介绍了Redis的一些简单应用。

MongoDB使用`mongod`命令启动服务器。实战中，创建目录`/data/db2`存放数据文件，并通过命令`mongod --dbpath /data/db2/ --port 1234 --fork --logpath /data/db2/db2.log --directoryperdb`启动服务。登录MongoDB后可创建数据库和集合。停止MongoDB服务器有三种方式：1) 使用`db.shutdownServer()`；2) 使用`db.adminCommand({shutdown:1, force:true})`强制关闭；3) 使用操作系统的`kill -2 PID`命令。

Redis 实例的监控是运维管理中的关键内容，主要包括内存、吞吐量、运行时信息和延时的监控。 1. **监控内存**：使用 `info memory` 可查看 Redis 内存使用情况，包括已用内存、峰值内存等。 2. **监控吞吐量**：通过 `info stats` 获取每秒处理命令数（OPS）、网络输入输出流量等。 3. **监控运行时信息**：利用 `info` 命令结合 `grep` 过滤出客户端连接数、拒绝连接数等重要信息。 4. **监控延时**：可以通过客户端手动监控或服务器内部延迟监控来检测延时问题。

本文详细介绍了社区电商购物车的设计与实现，涵盖多个关键方面：读多写多场景分析、复杂缓存与异步落库、异步落库问题处理、阈值检查与重复加入逻辑、多线程并发问题解决、查询更新功能、选中提交功能。

月之暗面旗下的Kimi智能助手在PC网页、手机APP、小程序等全平台的月度活跃用户已超过3600万。Kimi发布一年多以来不断进化，在搜索场景推出的探索版引入了搜索意图增强、信源分析和链式思考等三大推理能力，可以帮助用户解决更复杂的搜索、调研问题。Lindorm作为一站式数据平台，覆盖数据处理全链路，集成了离线批处理、在线分析、AI推理、融合检索（正排、倒排、全文、向量......）等多项服务，支持Kimi快速构建AI搜索基础设施，显著提升检索效果，并有效应对业务快速发展带来的数据规模膨胀和成本增长。

Redis 是一个基于内存的高性能NoSQL数据库，支持分布式集群和持久化。其网络通信模型采用多路复用监听与文件事件机制，通过单线程串行化处理大量并发请求，确保高效运行。本文主要简单介绍了 Redis 的核心特性。

详细介绍了Redis的复制原理、哨兵原理和集群原理。

月之暗面旗下的Kimi智能助手在PC网页、手机APP、小程序等全平台的月度活跃用户已超过3600万。Kimi发布一年多以来不断进化，在搜索场景推出的探索版引入了搜索意图增强、信源分析和链式思考等三大推理能力，可以帮助用户解决更复杂的搜索、调研问题。 Lindorm作为一站式数据平台，覆盖数据处理全链路，集成了离线批处理、在线分析、AI推理、融合检索（正排、倒排、全文、向量......）等多项服务，支持Kimi快速构建AI搜索基础设施，显著提升检索效果，并有效应对业务快速发展带来的数据规模膨胀和成本增长。

随着大数据技术的兴起，NoSQL数据库（Not Only SQL）得到广泛应用。它不局限于二维表结构，允许数据冗余。常见的NoSQL数据库包括Redis、MongoDB和HBase。Redis是基于内存的高性能数据库，采用单线程模型和多路复用I/O，支持高效的数据结构。MongoDB使用BSON格式存储文档，查询语言强大，类似关系型数据库。HBase基于HDFS，适合数据分析，采用列式存储，支持灵活的列族设计。视频讲解及更多内容见下文。

Redis慢查询日志用于记录执行时间超过预设阈值的命令，帮助开发和运维人员定位性能问题。每条慢查询日志包含标识ID、发生时间戳、命令耗时及详细信息。配置参数包括`slowlog-max-len`（默认128）和`slowlog-log-slower-than`（默认10000微秒）。实战中可通过`slowlog get`获取日志、`slowlog len`查看长度、`slowlog reset`重置日志。建议线上环境将`slowlog-max-len`设为1000以上，并根据并发量调整`slowlog-log-slower-than`。需要注意的是，慢查询只记录命令执行时间。

MongoDB使用WiredTiger存储引擎在文档级别进行并发控制，允许多个写操作同时修改不同文档，但对同一文档的修改需序列化执行。引擎采用乐观锁和意向锁机制处理冲突。通过视频讲解、插入大量文档示例及使用`mongotop`和`db.serverStatus()`命令，演示了如何监控MongoDB的锁信息和读写统计，展示了数据库和集合级别的写锁情况。

MongoDB通过Journal日志保证数据安全，记录检查点后的更新，确保数据库从异常中恢复到有效状态。每个Journal文件100M，存于--dbpath指定的journal子目录。默认已启用Journal日志，可通过--journal参数手动启用。WiredTiger存储引擎使用128KB内存缓冲区，异常关机时可能丢失最多128KB的数据。视频讲解和详细步骤参见附录。

全程业务0故障平滑迁移

MongoDB的逻辑存储结构由数据库（Database）、集合（Collection）和文档（Document）组成，形成层次化数据模型。用户通过mongoshell或应用程序操作这些结构。视频讲解及结构图详见下文。

阿里云与MongoDB庆祝合作五周年，展望AI赋能新未来

在资源受限的情况下，为了实现MongoDB的高可用性，本文探讨了两种在两台服务器上部署MongoDB的方案。方案一是通过主备身份轮换，即一台服务器作为主节点，另一台同时部署备节点和仲裁节点；方案二是利用`priority`设置实现自动主备切换。两者相比，方案二自动化程度更高，适合追求快速故障恢复的场景，而方案一则提供了更多的手动控制选项。文章最后对比了这两种方案与标准三节点副本集的优缺点，指出三节点方案在高可用性和数据一致性方面表现更佳。

Redis 是内存数据库，提供数据持久化功能，支持 RDB 和 AOF 两种方式。AOF 以日志形式记录每个写操作，支持定期重写以压缩文件。默认情况下，AOF 功能关闭，需在 `redis.conf` 中启用。通过 `info` 命令可监控 AOF 状态。AOF 重写功能可有效控制文件大小，避免性能下降。

Redis 是内存数据库，提供数据持久化功能以防止服务器进程退出导致数据丢失。Redis 支持 RDB 和 AOF 两种持久化方式，其中 RDB 是默认的持久化方式。RDB 通过在指定时间间隔内将内存中的数据快照写入磁盘，确保数据的安全性和恢复能力。RDB 持久化机制包括创建子进程、将数据写入临时文件并替换旧文件等步骤。优点包括适合大规模数据恢复和低数据完整性要求的场景，但也有数据完整性和一致性较低及备份时占用内存的缺点。

Memcached 是一个高性能的分布式内存对象缓存系统，用于减轻数据库压力，支持高负载网站。本文介绍了 Memcached 的安装步骤，包括下载、解压、配置和启动服务，帮助用户快速上手。

Memcached 是一个高性能的分布式内存对象缓存系统，用于减轻数据库压力，支持高负载网站。它通过内存中的巨大 Hash 表存储各种数据，但不支持数据持久化。视频讲解和数据存储方式图示详见内容。

MongoDB的In-Memory存储引擎将数据存储在内存中，显著减少查询延迟，提高性能。该引擎不会将数据持久化到硬盘，仅在内存中存储，因此重启后数据会丢失。本文通过创建目录、配置文件、启动服务、插入数据和查询等步骤，详细演示了如何使用In-Memory存储引擎。

MongoDB WiredTiger存储引擎自3.2版本起成为默认选择，提供文档级别的并发控制、检查点、数据压缩和本地加密等功能。本文详细介绍了WiredTiger的并发控制机制、预写日志与检查点、内存使用、数据压缩及磁盘空间回收等特性。

在MongoDB 3.2版本之前，默认使用MMAPv1存储引擎。MMAPv1包括Database、Namespace、数据文件、Extent和Record等组件。每个Database由名称空间文件和数据文件组成，数据文件按编号递增，大小从64MB到2GB。每个数据文件被划分为多个Extent，每个Extent包含多个Record，对应MongoDB中的文档。通过一个示例展示了如何配置和使用MMAPv1存储引擎。

存储引擎是MongoDB的核心组件，负责管理数据在硬盘和内存中的存储方式。从3.2版本起，MongoDB支持WiredTiger、MMAPv1和In-Memory三种存储引擎。WiredTiger为默认引擎，提供文档级并发控制和数据压缩；MMAPv1在3.2版本前为默认引擎，4.x版本后不再支持；In-Memory引擎将数据存储在内存中，减少查询延迟。

Redis采用客户端-服务器模型和请求/响应协议，通常一个请求包括客户端发送查询请求并等待服务端响应。为了提高性能，Redis引入了管道PipeLine技术，可以一次性发送多条命令并一次性返回结果，减少客户端与服务器间的通信次数，从而降低往返延迟。示例代码展示了普通命令和管道命令在插入1万条数据时的性能差异，后者执行时间显著缩短。视频讲解提供了更详细的解释。

本文介绍了如何在单个节点上搭建MongoDB复制集环境，通过监听不同端口实现多节点配置。详细步骤包括创建数据目录、编辑配置文件、启动节点、初始化复制集、查看状态以及测试主从库的读写操作。文中还提供了视频讲解和代码示例，帮助读者更好地理解和操作。

MongoDB复制集通常由一个主库和两个从库组成，可选添加仲裁者。主库负责所有写操作并记录Oplog日志，从库异步同步主库的Oplog日志并应用操作。仲裁者不存储数据，主要用于保证复制集中成员数量为奇数，参与选举投票。视频讲解详见B站链接。

MongoDB的复制集是一种集群技术，由一个Primary节点和多个Secondary节点组成，实现数据的高可用性。Primary节点处理写入请求，Secondary节点同步数据。当Primary节点故障时，Secondary节点可通过选举成为新的Primary节点。视频讲解和示意图详见正文。

本文介绍了Redis实现消息队列的两种场景：发布者订阅者模式和生产者消费者模式。其中，发布者订阅者模式通过channel频道进行解耦，订阅者监听特定channel的消息，当发布者向该channel发送消息时，所有订阅者都能接收到消息。文章还提供了相关操作命令及示例代码，展示了如何使用Redis实现消息的发布与订阅。

消息队列在Redis中可通过List数据结构实现，支持发布者订阅者和生产者消费者两种模式。生产者通过`lpush`向List添加消息，消费者通过`rpop`或`brpop`消费消息，后者支持阻塞等待。示例代码展示了如何使用Redis的生产者消费者模式。

本文介绍了Google的BigTable思想及其对HBase的影响。BigTable将所有数据存入一张表中以提高查询性能，而HBase作为其具体实现，采用列式存储，适合数据分析和处理。文章通过示例说明了HBase的表结构和数据插入方法，并提供了相关代码和图示。

本文介绍了HBase的体系架构，包括HMaster、RegionServer和ZooKeeper的主要功能。HMaster负责Region的分配和管理，RegionServer处理数据的读写操作，ZooKeeper维护集群状态并协调分布式系统的运行。文章还详细解释了Region、WAL预写日志、Block Cache读缓存和MemStore写缓存的作用。

MongoDB 是一个基于分布式文件存储的 NoSQL 数据库，提供了命令行客户端工具 mongoshell 和图形化工具 MongoDB Compass。mongoshell 可以进行数据查询和管理操作，而 MongoDB Compass 则支持可视化查询、聚合和数据分析。本文介绍了如何使用 mongoshell 连接 MongoDB 服务器、创建数据库和集合、插入数据以及配置命令提示符。同时，还展示了 MongoDB Compass 的主界面及其功能。

Redis 默认配置包含 16 个数据库，通过 `databases` 参数设置。每个数据库编号从 0 开始，默认连接 0 号数据库，可通过 `SELECT <dbid>` 切换。Redis 的核心存储结构包括 `dict`、`expires` 等字段，用于处理键值和过期行为。添加键时需指定数据库信息。视频讲解和代码示例详见内容。

本文基于Redis 6.2版本，详细介绍了在CentOS 7 64位虚拟机环境中部署Redis的步骤。内容包括安装GCC编译器、创建安装目录、解压安装包、编译安装、配置文件修改、启动服务及验证等操作。视频讲解和相关图片帮助理解每一步骤。

本文介绍了在Linux系统上安装和部署MongoDB的详细步骤，包括安装依赖包、解压安装包、配置环境变量、创建数据目录及启动服务等。文中还提供了相关命令示例和注意事项，帮助用户顺利完成MongoDB的安装与配置。

MongoDB 是一个可移植的 NoSQL 数据库，支持跨平台运行。其逻辑存储结构包括数据库、集合和文档，而物理存储结构则由命名空间文件、数据文件和日志文件组成。视频讲解和示意图进一步解释了这些概念。