MongoDB queued write 指标持续升高，什么原因？

根据您描述的问题，MongoDB实例在写压力为3000次写/秒、100读/秒的情况下，queued write指标逐渐升高，但实际的insert操作并不高（几千甚至几百），最终导致写入性能下降，需要通过重启才能暂时缓解。以下是针对该问题的详细分析和解决方案：

1. 问题可能的原因分析

1.1 写入队列堆积

• queued write指标升高表明写入请求在等待处理时发生了堆积。这通常与以下因素有关：
  • 主节点写入压力过大：如果主节点无法及时处理写入请求，写入队列会逐渐堆积。
  • 从节点复制延迟：当从节点的复制速度跟不上主节点的写入速度时，主节点可能会因为Write Concern设置而阻塞写入操作。
  • 磁盘I/O瓶颈：WiredTiger存储引擎依赖磁盘I/O来完成写入操作。如果磁盘吞吐量不足，可能导致写入延迟。

1.2 索引设计不合理

• 如果集合中存在大量索引，尤其是未优化的复合索引或前缀不匹配的索引，会导致每次写入操作都需要更新多个索引，从而增加CPU和I/O开销。
• 高频写入场景下，索引维护成本会显著放大。

1.3 oplog窗口不足

• 在高写入负载下，oplog记录可能会快速被覆盖。如果从节点未能及时应用oplog，可能导致从节点进入异常状态（如RECOVERING），进一步加剧主节点的压力。

1.4 WiredTiger缓存压力

• WiredTiger使用内存缓存来加速写入操作。如果缓存空间不足，可能导致频繁的磁盘刷写操作，进而影响写入性能。
• 版本3.0.2的WiredTiger引擎可能存在一些早期版本的性能瓶颈，尤其是在高并发场景下。

1.5 短连接问题

• 如果业务侧使用了大量的短连接，MongoDB需要频繁进行身份认证（如SCRAM-SHA1机制），这会消耗大量的CPU资源，进一步降低写入性能。

2. 解决方案

2.1 优化Write Concern设置

• 默认情况下，MongoDB 3.0.2的Write Concern为{w:1}，即写入操作只需确认主节点成功即可返回。但在高写入负载下，建议调整为"majority"，以确保数据持久性和一致性，同时避免因从节点延迟导致的写入阻塞。
• 操作建议：

  db.collection.insert({ key: "value" }, { writeConcern: { w: "majority" } })
  

2.2 调整oplog大小

• 如果oplog窗口不足，可能导致从节点无法及时同步数据。建议将oplog大小调整为至少能容纳24小时的写入量。
• 操作步骤：
  1. 使用rs.printReplicationInfo()查看当前oplog窗口。
  2. 如果窗口不足24小时，通过以下命令调整oplog大小：

     use local
     db.temp.drop()
     db.temp.save(db.oplog.rs.find().sort({ $natural: -1 }).limit(1).next())
     db.oplog.rs.drop()
     db.runCommand({ create: "oplog.rs", capped: true, size: <new_size_in_bytes> })
     db.oplog.rs.save(db.temp.findOne())
     

2.3 优化索引设计

• 检查集合中的索引是否合理，避免过多的索引或低效的复合索引。
• 操作建议：
  1. 使用db.collection.getIndexes()查看现有索引。
  2. 删除不必要的索引，优化高频查询的索引设计。
  3. 对于高频写入场景，考虑减少索引数量或使用部分索引（Partial Index）。

2.4 增加硬件资源

• 如果磁盘I/O或CPU成为瓶颈，建议升级实例规格，增加磁盘吞吐量和CPU核数。
• 操作建议：
  • 升级到更高配置的MongoDB实例。
  • 使用SSD磁盘以提升I/O性能。

2.5 调整WiredTiger缓存

• WiredTiger默认使用50%的可用内存作为缓存。如果缓存不足，可以通过调整wiredTigerCacheSizeGB参数来增加缓存大小。
• 操作建议：

  storage:
  wiredTiger:
    engineConfig:
      cacheSizeGB: <new_cache_size>
  

2.6 减少短连接

• 如果业务侧使用了大量短连接，建议改为长连接模式，以减少身份认证的开销。
• 操作建议：
  • 在客户端配置连接池，复用连接。
  • 使用连接管理工具（如MongoDB官方驱动程序）优化连接行为。

2.7 升级MongoDB版本

• MongoDB 3.0.2是一个较老的版本，可能存在性能和稳定性问题。建议升级到更高版本（如4.0或5.0），以利用新特性（如事务支持、连接管理优化等）和性能改进。
• 注意事项：
  • 升级前需备份数据。
  • 测试新版本与现有业务的兼容性。

3. 监控与告警

• 监控指标：
  • queued write：观察写入队列的变化趋势。
  • oplog window：确保oplog窗口足够长。
  • replication lag：监控从节点的复制延迟。
  • disk I/O：检查磁盘吞吐量是否达到瓶颈。
• 告警配置：
  • 设置queued write和replication lag的告警阈值，及时发现潜在问题。

4. 总结

通过优化Write Concern设置、调整oplog大小、优化索引设计、增加硬件资源、减少短连接以及升级MongoDB版本，可以有效缓解写入队列堆积的问题。同时，建议加强监控和告警配置，以便及时发现并处理类似问题。