【案例实战】高性能SpringBoot整合短线验证码发送(池化思想+异步结合)

简介: 【案例实战】高性能SpringBoot整合短线验证码发送(池化思想+异步结合)

1.需求背景

  • 海量用户下,高性能的发送手机短信验证码。
  • 为什么要用线程池+异步的方式去进行短信验证码的发送呢?
  • 如果是同步发送+RestTemplate未池化最大几百的吞吐量

错误Caused by: java.io.IOException: Broken pipe

  • 服务端向前端socket连接管道写返回数据时 链接(pipe)却断开了
  • 从应用角度分析,这是因为客户端等待返回超时了,主动断开了与服务端链接
  • 连接数设置太小,并发量增加后,造成大量请求排队等待
  • 网络延迟,是否有丢包
  • 内存是否足够多支持对应的并发量

2.第三方短信验证码平台接入

  • 这块只是给大家做个案例演示,公司的项目不一定采用云市场的短信接入,但是思路都是大同小异。

(1)进入链接登入阿里云。

70645b3beb694a0ebe32401d0dda26f5.jpg

(2)大家可以根据自己的需求去进行购买,一般做测试的话就选3元的就可以了。


abb4d2771c7b4cc29be322449253a1ec.jpg(3)购买之后就会又对应的产品密钥。

AppKey:204073759     
AppSecret:LpKyOMk7krrJgU845P7UraJNs3wGtDN7
AppCode:59712f17a3434de8b53b03df9bffe7e4

3.SpringBoot项目搭建

(1)新建Maven项目



a1b8d3abdeb44cfda4fe8d6c0e170fd7.jpg


296345e6c8164d13897d7667f336eb59.jpg(2)引入Maven依赖

  <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.6.7</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent> 
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

ad9f634348594b36906c32cf65d5c827.jpg(3)创建主类

@SpringBootApplication
public class SendApplication {
    public static void main(String[] args) {
        SpringApplication.run(SendApplication.class, args);
    }
}

(4)创建yaml,application.yml

server:
  port: 8011
spring:
  application:
    name: send-server

(5)启动验证

646d2fdb29c54c9884206a33a638e784.jpg

4.开发短信验证码发送

(1)加入Maven依赖

        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.13</version>
        </dependency>

(2)配置RestTemplate连接池

什么是RestTemplate?
* RestTemplate是Spring提供的用于访问Rest服务的客户端
* 底层通过使用java.net包下的实现创建HTTP 请求
* 通过使用ClientHttpRequestFactory指定不同的HTTP请求方式,主要提供了两种实现方式
  * SimpleClientHttpRequestFactory(默认)
    * 底层使用J2SE提供的方式,既java.net包提供的方式,创建底层的Http请求连接
    * 主要createRequest 方法( 断点调试),每次都会创建一个新的连接,每次都创建连接会造成极大的资源浪费,而且若连接不能及时释放,会因为无法建立新的连接导致后面的请求阻塞
  * HttpComponentsClientHttpRequestFactory
    * 底层使用HttpClient访问远程的Http服务

Spring的restTemplate是对httpclient进行了封装, 而httpclient是支持池化机制

/**
 * @description RestTemplate配置类
 * @author lixiang
 */
@Configuration
public class RestTemplateConfig {
    @Bean
    public RestTemplate restTemplate(ClientHttpRequestFactory requestFactory){
        return new RestTemplate(requestFactory);
    }
    @Bean
    public ClientHttpRequestFactory httpRequestFactory() {
        return new HttpComponentsClientHttpRequestFactory(httpClient());
    }
    @Bean
    public HttpClient httpClient(){
        Registry<ConnectionSocketFactory> registry = RegistryBuilder.<ConnectionSocketFactory>create()
                .register("http", PlainConnectionSocketFactory.getSocketFactory())
                .register("https", SSLConnectionSocketFactory.getSocketFactory())
                .build();
        PoolingHttpClientConnectionManager connectionManager = new PoolingHttpClientConnectionManager(registry);
        //设置整个连接池最大连接数
        connectionManager.setMaxTotal(500);
        //设置每个主机的最大并发数
        connectionManager.setDefaultMaxPerRoute(200);
        RequestConfig requestConfig = RequestConfig.custom()
                //设置返回数据的超时时间
                .setSocketTimeout(20000)
                //设置连接服务器的超时时间
                .setConnectTimeout(10000)
                //设置从连接池中获取连接的超时时间
                .setConnectionRequestTimeout(1000)
                .build();
        return HttpClientBuilder.create()
                .setDefaultRequestConfig(requestConfig)
                .setConnectionManager(connectionManager)
                .build();
    }
}

(3)Async+ThreadPoolTaskExecutor配置自定义线程池

@Configuration
public class ThreadPoolTaskConfig {
    @Bean("threadPoolTaskExecutor")
    public ThreadPoolTaskExecutor threadPoolTaskExecutor(){
        ThreadPoolTaskExecutor threadPoolTaskExecutor = new ThreadPoolTaskExecutor();
        //线程池创建的核心线程数,线程池维护线程的最少数量,即使没有任务需要执行,也会一直存活
        //如果设置allowCoreThreadTimeout=true(默认false)时,核心线程会超时关闭
        threadPoolTaskExecutor.setCorePoolSize(4);
        //最大线程池数量,当线程数>=corePoolSize,且任务队列已满时。线程池会创建新线程来处理任务
        //当线程数=maxPoolSize,且任务队列已满时,线程池会拒绝处理任务而抛出异常
        threadPoolTaskExecutor.setMaxPoolSize(8);
        //缓存队列(阻塞队列)当核心线程数达到最大时,新任务会放在队列中排队等待执行
        threadPoolTaskExecutor.setQueueCapacity(124);
        //当线程空闲时间达到keepAliveTime时,线程会退出,直到线程数量=corePoolSize
        //允许线程空闲时间60秒,当maxPoolSize的线程在空闲时间到达的时候销毁
        //如果allowCoreThreadTimeout=true,则会直到线程数量=0
        threadPoolTaskExecutor.setKeepAliveSeconds(30);
        //spring 提供的 ThreadPoolTaskExecutor 线程池,是有setThreadNamePrefix() 方法的。
        //jdk 提供的ThreadPoolExecutor 线程池是没有 setThreadNamePrefix() 方法的
        threadPoolTaskExecutor.setThreadNamePrefix("小滴课堂Spring自带Async前缀:");
        threadPoolTaskExecutor.setWaitForTasksToCompleteOnShutdown(true);
        // rejection-policy:当pool已经达到max size的时候,如何处理新任务
        // CallerRunsPolicy():交由调用方线程运行,比如 main 线程;如果添加到线程池失败,那么主线程会自己去执行该任务,不会等待线程池中的线程去执行
        //AbortPolicy():该策略是线程池的默认策略,如果线程池队列满了丢掉这个任务并且抛出RejectedExecutionException异常。
        //DiscardPolicy():如果线程池队列满了,会直接丢掉这个任务并且不会有任何异常
        //DiscardOldestPolicy():丢弃队列中最老的任务,队列满了,会将最早进入队列的任务删掉腾出空间,再尝试加入队列
        threadPoolTaskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        threadPoolTaskExecutor.initialize();
        return threadPoolTaskExecutor;
    }
}

(4)配置yml

# sms短信配置
sms:
  #这个appcode就是在下单之后,商家会提供一个appcode
  app-code: 59712f17a3434de8b53b03df9bffe7e4
  #模板ID,这块需要自己去申请自定义的短信模板内容,我这块用的是测试的模板
  template-id: M105EABDEC
  #短信发送URL
  send-url: https://jmsms.market.alicloudapi.com/sms/send?mobile=%s&templateId=%s&value=%s


3a9a7c8f22aa49b6acf7b8fe847d23df.jpg(5)编写短信配置类

@ConfigurationProperties(prefix = "sms")
@Configuration
@Data
public class SmsConfig {
    /**
     * 短信模板ID
     */
    private String templateId;
    /**
     * 短信app-code
     */
    private String appCode;
}

(6)编写短信发送组件

/**
 * 短信发送服务
 * @author lixiang
 */
@Component
@Slf4j
public class SmsComponent {
    @Value("${sms.send-url}")
    private String sendCodeUrl;
    @Autowired
    private RestTemplate restTemplate;
    @Autowired
    private SmsConfig smsConfig;
    @Async("threadPoolTaskExecutor")
    public void send(String to, String templateId, String value) {
        String url = String.format(sendCodeUrl, to, templateId, value);
        HttpHeaders headers = new HttpHeaders();
        headers.set("Authorization","APPCODE "+smsConfig.getAppCode());
        HttpEntity<String> entity = new HttpEntity<>(headers);
        ResponseEntity<String> response = restTemplate.exchange(url, HttpMethod.POST, entity, String.class);
        log.info("url:{},body:{}", url, response.getBody());
        if (!response.getStatusCode().is2xxSuccessful()) {
            log.error("短信发送失败,value:{},响应:{}", value,response.getBody());
        }else{
            log.info("短信发送成功,value:{},响应:{}",value, response.getBody());
        }
    }
}

(7)编写Controller测试

@RestController
@RequestMapping("/notify")
public class SendController {
    @Autowired
    private SmsComponent smsComponent;
    @Value("{sms.template-id}")
    private String templateId;
    @GetMapping("send_code")
    public String sendCode(@RequestParam("phone") String phone){
    //定义发送的验证码,公司的业务可以采用随机生成的4位或者6位数字
        String code = "567249";
        //发送短信验证码
        smsComponent.send(phone,templateId,code);
        return "SUCCESS";
    }
}


b0482d8a629d4a11abf451b048f5dce8.jpg

7f041aaa15a14a1eb46985429ff32e9b.jpg


0a9e1244f3b14a65a569397ad5a0f410.jpgok,至此SpringBoot整合短信验证码发送已经完成。下面我们来测试一下性能。

以下是同步发送+池化RestTemplate的压测报告,如果异步发送性能还会更高


f34c4a2df8f24911ad34902cc613f8a5.jpg

相关文章
|
27天前
|
消息中间件 NoSQL Java
springboot整合常用中间件框架案例
该项目是Spring Boot集成整合案例,涵盖多种中间件的使用示例,每个案例项目使用最小依赖,便于直接应用到自己的项目中。包括MyBatis、Redis、MongoDB、MQ、ES等的整合示例。
84 1
|
2月前
|
自然语言处理 Java API
Spring Boot 接入大模型实战:通义千问赋能智能应用快速构建
【10月更文挑战第23天】在人工智能(AI)技术飞速发展的今天,大模型如通义千问(阿里云推出的生成式对话引擎)等已成为推动智能应用创新的重要力量。然而,对于许多开发者而言,如何高效、便捷地接入这些大模型并构建出功能丰富的智能应用仍是一个挑战。
143 6
|
2月前
|
前端开发 Java Apache
Springboot整合shiro,带你学会shiro,入门级别教程,由浅入深,完整代码案例,各位项目想加这个模块的人也可以看这个,又或者不会mybatis-plus的也可以看这个
本文详细讲解了如何整合Apache Shiro与Spring Boot项目,包括数据库准备、项目配置、实体类、Mapper、Service、Controller的创建和配置,以及Shiro的配置和使用。
373 1
Springboot整合shiro,带你学会shiro,入门级别教程,由浅入深,完整代码案例,各位项目想加这个模块的人也可以看这个,又或者不会mybatis-plus的也可以看这个
|
2月前
|
Web App开发 JavaScript Java
elasticsearch学习五:springboot整合 rest 操作elasticsearch的 实际案例操作,编写搜索的前后端,爬取京东数据到elasticsearch中。
这篇文章是关于如何使用Spring Boot整合Elasticsearch,并通过REST客户端操作Elasticsearch,实现一个简单的搜索前后端,以及如何爬取京东数据到Elasticsearch的案例教程。
205 0
elasticsearch学习五:springboot整合 rest 操作elasticsearch的 实际案例操作,编写搜索的前后端,爬取京东数据到elasticsearch中。
|
2月前
|
数据采集 自然语言处理 API
Python反爬案例——验证码的识别
Python反爬案例——验证码的识别
|
2月前
|
存储 前端开发 Java
验证码案例 —— Kaptcha 插件介绍 后端生成验证码,前端展示并进行session验证(带完整前后端源码)
本文介绍了使用Kaptcha插件在SpringBoot项目中实现验证码的生成和验证,包括后端生成验证码、前端展示以及通过session进行验证码校验的完整前后端代码和配置过程。
177 0
验证码案例 —— Kaptcha 插件介绍 后端生成验证码,前端展示并进行session验证(带完整前后端源码)
|
3月前
|
缓存 NoSQL Java
Springboot实战——黑马点评之秒杀优化
【9月更文挑战第27天】在黑马点评项目中,秒杀功能的优化对提升系统性能和用户体验至关重要。本文提出了多项Spring Boot项目的秒杀优化策略,包括数据库优化(如索引和分库分表)、缓存优化(如Redis缓存和缓存预热)、并发控制(如乐观锁、悲观锁和分布式锁)以及异步处理(如消息队列和异步任务执行)。这些策略能有效提高秒杀功能的性能和稳定性,为用户提供更佳体验。
170 6
|
3月前
|
消息中间件 Java Kafka
springboot项目启动报错-案例情景介绍
springboot项目启动报错-案例情景介绍
81 2
|
3月前
|
缓存 监控 Java
造轮子能力大提升:基于SpringBoot打造高性能缓存组件
在快节奏的软件开发领域,"不重复造轮子" 常常被视为提高效率的金科玉律。然而,在某些特定场景下,定制化的高性能缓存组件却是提升系统性能、优化用户体验的关键。今天,我们将深入探讨如何利用SpringBoot框架,从零开始打造一款符合项目需求的高性能缓存组件,分享我在这一过程中的技术心得与学习体会。
71 6
|
4月前
|
存储 NoSQL 数据库
认证服务---整合短信验证码,用户注册和登录 ,密码采用MD5加密存储 【二】
这篇文章讲述了在分布式微服务系统中添加用户注册和登录功能的过程,重点介绍了用户注册时通过远程服务调用第三方服务获取短信验证码、使用Redis进行验证码校验、对密码进行MD5加密后存储到数据库,以及用户登录时的远程服务调用和密码匹配校验的实现细节。
认证服务---整合短信验证码,用户注册和登录 ,密码采用MD5加密存储 【二】