SpringBoot 整合 mongoDB 并配置连接池

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: SpringBoot整合mongoDB并配置连接池

前言

SpringBoot为方便整合MongoDB,提供了相应的启动器,即spring-boot-starter-data-mongodb。然后我们就可以用它提供的MongoTemplate类来操作数据库了。

当然,SpringBoot也提供了相应的类让我们能自定义配置连接池。我们在配置类中主要与MongoClientOptionsMongoCredentialServerAddressMongoClientMongoDbFactory等打交道。最终的目的就是配置一个MongoDbFactory的bean交由Spring管理,SpringBoot会拿这个MongoDbFactory工厂bean来new一个MongoTemplate(在MongoDbFactoryDependentConfiguration类中)。当然,我们也可以自己new这个MongoTemplate实例,这样我们可以对MongoTemplate这个bean做额外处理,再交给Spring容器。

一、引入依赖

1.1 Maven

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-mongodb</artifactId>
</dependency>

1.2 Gradle

implementation 'org.springframework.boot:spring-boot-starter-data-mongodb'

二、配置文件

spring.application.name=springboot-mongo

#基础连接参数
#要连接的数据库
mongodb.database=nobody
#用户名
mongodb.username=
#密码
mongodb.password=
#IP和端口(host:port),例如127.0.0.1:27017。集群模式用,分隔开,例如host1:port1,host2:port2
mongodb.address=127.0.0.1:27017
#设置认证数据库,如果有的话
mongodb.authenticationDatabase=

# 客户端连接池参数
#客户端的标识,用于定位请求来源等,一般用程序名
mongodb.clientName=${spring.application.name}
#TCP(socket)连接超时时间,毫秒
mongodb.connectionTimeoutMs=5000
#TCP(socket)连接闲置时间,毫秒
mongodb.maxConnectionIdleTimeMs=60000
#TCP(socket)连接最多可以使用多久,毫秒
mongodb.maxConnectionLifeTimeMs=300000
#TCP(socket)读取超时时间,毫秒
mongodb.readTimeoutMs=15000
#当连接池无可用连接时客户端阻塞等待的最大时长,毫秒
mongodb.maxWaitTimeMs=5000
#心跳检测发送频率,毫秒
mongodb.heartbeatFrequencyMs=20000
#最小的心跳检测发送频率,毫秒
mongodb.minHeartbeatFrequencyMs=8000
#心跳检测连接超时时间,毫秒
mongodb.heartbeatConnectionTimeoutMs=10000
#心跳检测读取超时时间,毫秒
mongodb.heartbeatReadTimeoutMs=15000
#线程池允许的最大连接数
mongodb.connectionsPerHost=100
#线程池空闲时保持的最小连接数
mongodb.minConnectionsPerHost=20
#计算允许多少个线程阻塞等待时的乘数,算法:threadsAllowedToBlockForConnectionMultiplier*maxConnectionsPerHost
mongodb.threadsAllowedToBlockForConnectionMultiplier=10

三、MongoConfig配置类

注意:项目中使用了lombok依赖,这样可以减少写getter、Setter等方法。
package com.nobody.mongo.config;

import com.mongodb.*;
import lombok.Getter;
import lombok.Setter;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.mongodb.MongoDbFactory;
import org.springframework.data.mongodb.core.MongoTemplate;
import org.springframework.data.mongodb.core.SimpleMongoDbFactory;
import org.springframework.data.mongodb.core.convert.*;
import org.springframework.data.mongodb.core.mapping.MongoMappingContext;
import org.springframework.util.StringUtils;
import org.springframework.validation.annotation.Validated;

import javax.validation.constraints.Min;
import javax.validation.constraints.NotEmpty;
import java.util.ArrayList;
import java.util.List;

/**
 * @Description mongo配置类
 * @Author Mr.nobody
 * @Date 2020/11/7
 * @Version 1.0
 */
@Configuration
// 将带有@ConfigurationProperties注解的类注入为Spring容器的Bean,
// 任何被@ConfigurationProperties注解的beans将自动被Environment属性配置。
@EnableConfigurationProperties(MongoConfig.MongoClientOptionProperties.class)
public class MongoConfig {

    /**
     * 此Bean也是可以不显示定义的,如果我们没有显示定义生成MongoTemplate实例,
     * SpringBoot利用我们配置好的MongoDbFactory在配置类中生成一个MongoTemplate,
     * 之后我们就可以在项目代码中直接@Autowired了。因为用于生成MongoTemplate
     * 的MongoDbFactory是我们自己在MongoConfig配置类中生成的,所以我们自定义的连接池参数也就生效了。
     *
     * @param mongoDbFactory mongo工厂
     * @param converter      转换器
     * @return MongoTemplate实例
     */
    @Bean
    public MongoTemplate mongoTemplate(MongoDbFactory mongoDbFactory, MappingMongoConverter converter) {
        MongoTemplate mongoTemplate = new MongoTemplate(mongoDbFactory, converter);
        // 设置读从库优先
        mongoTemplate.setReadPreference(ReadPreference.secondaryPreferred());
        return mongoTemplate;
    }

    /**
     * 转换器
     * MappingMongoConverter可以自定义mongo转换器,主要自定义存取mongo数据时的一些操作,例如 mappingConverter.setTypeMapper(new
     * DefaultMongoTypeMapper(null)) 方法会将mongo数据中的_class字段去掉。
     *
     * @param factory     mongo工厂
     * @param context     上下文
     * @param conversions 自定义转换器
     * @return 转换器对象
     */
    @Bean
    public MappingMongoConverter mappingMongoConverter(MongoDbFactory factory, MongoMappingContext context,
                                                       MongoCustomConversions conversions) {
        DbRefResolver dbRefResolver = new DefaultDbRefResolver(factory);
        MappingMongoConverter mappingConverter = new MappingMongoConverter(dbRefResolver, context);
        mappingConverter.setCustomConversions(conversions);
        // remove _class field
        mappingConverter.setTypeMapper(new DefaultMongoTypeMapper(null));
        return mappingConverter;
    }

    /**
     * 自定义mongo连接池
     *
     * @param properties 属性配置类
     * @return MongoDbFactory对象
     */
    @Bean
    public MongoDbFactory mongoDbFactory(MongoClientOptionProperties properties) {

        MongoClient mongoClient;

        // 创建客户端参数
        MongoClientOptions mongoClientOptions = mongoClientOptions(properties);

        // 解析获取mongo服务地址
        List<ServerAddress> serverAddressList = getServerAddress(properties.getAddress());

        // 创建认证
        MongoCredential mongoCredential = getCredential(properties);

        // 创建客户端
        if (null == mongoCredential) {
            mongoClient = new MongoClient(serverAddressList, mongoClientOptions);
        } else {
            mongoClient = new MongoClient(serverAddressList, mongoCredential, mongoClientOptions);
        }

        return new SimpleMongoDbFactory(mongoClient, properties.getDatabase());
    }

    /**
     * 创建认证
     *
     * @param properties 属性配置类
     * @return 认证对象
     */
    private MongoCredential getCredential(MongoClientOptionProperties properties) {
        if (!StringUtils.isEmpty(properties.getUsername()) && !StringUtils.isEmpty(properties.getPassword())) {
            // 没有专用认证数据库则取当前数据库
            String database = StringUtils.isEmpty(properties.getAuthenticationDatabase()) ?
                    properties.getDatabase() : properties.getAuthenticationDatabase();
            return MongoCredential.createCredential(properties.getUsername(), database,
                    properties.getPassword().toCharArray());
        }
        return null;
    }

    /**
     * 获取数据库服务地址
     *
     * @param mongoAddress 地址字符串
     * @return 服务地址数组
     */
    private List<ServerAddress> getServerAddress(String mongoAddress) {
        String[] mongoAddressArray = mongoAddress.trim().split(",");
        List<ServerAddress> serverAddressList = new ArrayList<>(4);
        for (String address : mongoAddressArray) {
            String[] hostAndPort = address.split(":");
            serverAddressList.add(new ServerAddress(hostAndPort[0], Integer.parseInt(hostAndPort[1])));
        }
        return serverAddressList;
    }

    /**
     * mongo客户端参数配置
     *
     * @param properties 属性配置类
     * @return mongo客户端参数配置对象
     */
    private MongoClientOptions mongoClientOptions(MongoClientOptionProperties properties) {
        return MongoClientOptions.builder().applicationName(properties.getClientName()).
                connectTimeout(properties.getConnectionTimeoutMs())
                .maxConnectionIdleTime(properties.getMaxConnectionIdleTimeMs())
                .maxConnectionLifeTime(properties.getMaxConnectionLifeTimeMs())
                .socketTimeout(properties.getReadTimeoutMs())
                .maxWaitTime(properties.getMaxWaitTimeMs())
                .heartbeatFrequency(properties.getHeartbeatFrequencyMs())
                .minHeartbeatFrequency(properties.getMinHeartbeatFrequencyMs())
                .heartbeatConnectTimeout(properties.getHeartbeatConnectionTimeoutMs())
                .heartbeatSocketTimeout(properties.getHeartbeatReadTimeoutMs())
                .connectionsPerHost(properties.getConnectionsPerHost())
                .minConnectionsPerHost(properties.getMinConnectionsPerHost())
                .threadsAllowedToBlockForConnectionMultiplier(properties.getThreadsAllowedToBlockForConnectionMultiplier())
                .readPreference(ReadPreference.secondaryPreferred())
                .build();
    }

    @Getter
    @Setter
    @Validated
    @ConfigurationProperties(prefix = "mongodb")
    public static class MongoClientOptionProperties {

        /**
         * 基础连接参数
         */
        @NotEmpty
        private String database; // 要连接的数据库
        private String username; // 用户名
        private String password; // 密码
        @NotEmpty
        private String address; // IP和端口(host:port),例如127.0.0.1:27017。集群模式用,分隔开,例如host1:port1,host2:port2
        private String authenticationDatabase; // 设置认证数据库,如果有的话

        /**
         * 客户端连接池参数
         */
        @NotEmpty
        private String clientName; // 客户端的标识,用于定位请求来源等,一般用程序名
        @Min(value = 1)
        private int connectionTimeoutMs; // TCP(socket)连接超时时间,毫秒
        @Min(value = 1)
        private int maxConnectionIdleTimeMs; // TCP(socket)连接闲置时间,毫秒
        @Min(value = 1)
        private int maxConnectionLifeTimeMs; // TCP(socket)连接最多可以使用多久,毫秒
        @Min(value = 1)
        private int readTimeoutMs; // TCP(socket)读取超时时间,毫秒
        @Min(value = 1)
        private int maxWaitTimeMs; // 当连接池无可用连接时客户端阻塞等待的最大时长,毫秒
        @Min(value = 2000)
        private int heartbeatFrequencyMs; // 心跳检测发送频率,毫秒
        @Min(value = 300)
        private int minHeartbeatFrequencyMs; // 最小的心跳检测发送频率,毫秒
        @Min(value = 200)
        private int heartbeatConnectionTimeoutMs; // 心跳检测连接超时时间,毫秒
        @Min(value = 200)
        private int heartbeatReadTimeoutMs; // 心跳检测读取超时时间,毫秒
        @Min(value = 1)
        private int connectionsPerHost; // 线程池允许的最大连接数
        @Min(value = 1)
        private int minConnectionsPerHost; // 线程池空闲时保持的最小连接数
        @Min(value = 1)
        // 计算允许多少个线程阻塞等待时的乘数,算法:threadsAllowedToBlockForConnectionMultiplier*maxConnectionsPerHost
        private int threadsAllowedToBlockForConnectionMultiplier;
    }
}

四、总结

Mongo连接池常用的参数配置一般是一下几种,一般根据自己具体业务进行数值配置,达到最优效果。

  • connectionTimeoutMs:TCP(socket)连接超时时间,毫秒
  • maxConnectionIdleTimeMs:TCP(socket)连接闲置时间,毫秒
  • maxConnectionLifeTimeMs:TCP(socket)连接最多可以使用多久,毫秒
  • readTimeoutMs:TCP(socket)读取超时时间,毫秒
  • maxWaitTimeMs:当连接池无可用连接时客户端阻塞等待的最大时长,毫秒
  • connectionsPerHost:线程池允许的最大连接数
  • minConnectionsPerHost:线程池空闲时保持的最小连接数
相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
1月前
|
Java 开发者 微服务
手写模拟Spring Boot自动配置功能
【11月更文挑战第19天】随着微服务架构的兴起,Spring Boot作为一种快速开发框架,因其简化了Spring应用的初始搭建和开发过程,受到了广大开发者的青睐。自动配置作为Spring Boot的核心特性之一,大大减少了手动配置的工作量,提高了开发效率。
58 0
|
2天前
|
Java Maven Spring
SpringBoot配置跨模块扫描问题解决方案
在分布式项目中,使用Maven进行多模块开发时,某些模块(如xxx-common)没有启动类。如何将这些模块中的类注册为Spring管理的Bean对象?本文通过案例分析,介绍了两种解决方案:常规方案是通过`@SpringBootApplication(scanBasePackages)`指定扫描路径;推荐方案是保持各模块包结构一致(如com.xxx),利用SpringBoot默认扫描规则自动识别其他模块中的组件,简化配置。
SpringBoot配置跨模块扫描问题解决方案
|
9天前
|
NoSQL Java Redis
Spring Boot 自动配置机制:从原理到自定义
Spring Boot 的自动配置机制通过 `spring.factories` 文件和 `@EnableAutoConfiguration` 注解,根据类路径中的依赖和条件注解自动配置所需的 Bean,大大简化了开发过程。本文深入探讨了自动配置的原理、条件化配置、自定义自动配置以及实际应用案例,帮助开发者更好地理解和利用这一强大特性。
52 14
|
1月前
|
缓存 IDE Java
SpringBoot入门(7)- 配置热部署devtools工具
SpringBoot入门(7)- 配置热部署devtools工具
49 1
SpringBoot入门(7)- 配置热部署devtools工具
|
1月前
|
存储 前端开发 JavaScript
springboot中路径默认配置与重定向/转发所存在的域对象
Spring Boot 提供了简便的路径默认配置和强大的重定向/转发机制,通过合理使用这些功能,可以实现灵活的请求处理和数据传递。理解并掌握不同域对象的生命周期和使用场景,是构建高效、健壮 Web 应用的关键。通过上述详细介绍和示例,相信读者能够更好地应用这些知识,优化自己的 Spring Boot 应用。
36 3
|
1月前
|
Java 数据库连接
SpringBoot配置多数据源实战
第四届光学与机器视觉国际学术会议(ICOMV 2025) 2025 4th International Conference on Optics and Machine Vision
64 8
|
1月前
|
Java 数据库连接 数据库
springboot启动配置文件-bootstrap.yml常用基本配置
以上是一些常用的基本配置项,在实际应用中可能会根据需求有所变化。通过合理配置 `bootstrap.yml`文件,可以确保应用程序在启动阶段加载正确的配置,并顺利启动运行。
176 2
|
6天前
|
存储 JSON NoSQL
学习 MongoDB:打开强大的数据库技术大门
MongoDB 是一个基于分布式文件存储的文档数据库,由 C++ 编写,旨在为 Web 应用提供可扩展的高性能数据存储解决方案。它与 MySQL 类似,但使用文档结构而非表结构。核心概念包括:数据库(Database)、集合(Collection)、文档(Document)和字段(Field)。MongoDB 使用 BSON 格式存储数据,支持多种数据类型,如字符串、整数、数组等,并通过二进制编码实现高效存储和传输。BSON 文档结构类似 JSON,但更紧凑,适合网络传输。
31 15
|
14天前
|
存储 NoSQL 关系型数据库
阿里云数据库MongoDB版助力信也科技 打造互联网金融企业样板
我们的风控系统引入阿里云数据库MongoDB版后,解决了特征类字段灵活加减的问题,大大提高了开发效率,极大的提升了业务用户体验,获得了非常好的效果
阿里云数据库MongoDB版助力信也科技 打造互联网金融企业样板
|
1月前
|
NoSQL Cloud Native atlas
探索云原生数据库:MongoDB Atlas 的实践与思考
【10月更文挑战第21天】本文探讨了MongoDB Atlas的核心特性、实践应用及对云原生数据库未来的思考。MongoDB Atlas作为MongoDB的云原生版本,提供全球分布式、完全托管、弹性伸缩和安全合规等优势,支持快速部署、数据全球化、自动化运维和灵活定价。文章还讨论了云原生数据库的未来趋势,如架构灵活性、智能化运维和混合云支持,并分享了实施MongoDB Atlas的最佳实践。