Spring Boot整合MySQL主从集群同步延迟解决方案

简介: 本文针对电商系统在Spring Boot+MyBatis架构下的典型问题(如大促时订单状态延迟、库存超卖误判及用户信息更新延迟)提出解决方案。核心内容包括动态数据源路由(强制读主库)、大事务拆分优化以及延迟感知补偿机制,配合MySQL参数调优和监控集成,有效将主从延迟控制在1秒内。实际测试表明,在10万QPS场景下,订单查询延迟显著降低,超卖误判率下降98%。

简单业务场景

某电商系统采用Spring Boot+MyBatis架构,MySQL 8.0主从架构承载订单业务。遭遇以下典型问题:

  1. 大促期间用户支付成功后无法立即查看到订单状态
  2. 库存扣减后从库查询出现超卖误判
  3. 用户信息更新后存在5-10秒的显示延迟

核心解决方案与代码实现

一、动态数据源路由(强制读主库)

java

代码解读

复制代码

// 配置动态数据源
@Configuration
public class DynamicDataSourceConfig {
    @Bean
    @Primary
    public DataSource dynamicDataSource(
            @Qualifier("masterDataSource") DataSource master,
            @Qualifier("slaveDataSource") DataSource slave) {
        
        Map<Object, Object> targetDataSources = new HashMap<>();
        targetDataSources.put("master", master);
        targetDataSources.put("slave", slave);
    
        DynamicDataSourceRouter ds = new DynamicDataSourceRouter();
        ds.setTargetDataSources(targetDataSources);
        ds.setDefaultTargetDataSource(master);
        return ds;
    }
}

// 自定义数据源路由
public class DynamicDataSourceRouter extends AbstractRoutingDataSource {
    private static final ThreadLocal<String> CONTEXT = new ThreadLocal<>();

    @Override
    protected Object determineCurrentLookupKey() {
        return CONTEXT.get() == null ? "slave" : CONTEXT.get();
    }
    
    public static void useMaster() {
        CONTEXT.set("master");
    }
    
    public static void clear() {
        CONTEXT.remove();
    }
}

// AOP切面控制
@Aspect
@Component
public class DataSourceAspect {
    @Pointcut("@annotation(com.example.annotation.Master)")
    public void masterPointcut() {}

    @Around("masterPointcut()")
    public Object around(ProceedingJoinPoint joinPoint) throws Throwable {
        try {
            DynamicDataSourceRouter.useMaster();
            return joinPoint.proceed();
        } finally {
            DynamicDataSourceRouter.clear();
        }
    }
}

// 自定义注解
@Target({ElementType.METHOD})
@Retention(RetentionPolicy.RUNTIME)
public @interface Master {}

二、大事务拆分优化

java

代码解读

复制代码

// 批量插入优化示例
@Service
public class OrderService {
    private static final int BATCH_SIZE = 500;

    @Transactional
    public void batchInsertOrders(List<Order> orders) {
        SqlSessionFactory sqlSessionFactory = ...; // 获取MyBatis会话工厂
        
        try (SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH)) {
            OrderMapper mapper = session.getMapper(OrderMapper.class);
            int count = 0;
            
            for (Order order : orders) {
                mapper.insert(order);
                if (++count % BATCH_SIZE == 0) {
                    session.flushStatements();
                }
            }
            session.flushStatements();
        }
    }
}

// 库存扣减拆分
@Service
public class InventoryService {
    @Autowired
    private JdbcTemplate jdbcTemplate;

    public void reduceStock(Long productId, int quantity) {
        int remaining = quantity;
        while (remaining > 0) {
            int batchSize = Math.min(100, remaining);
            String sql = "UPDATE inventory SET stock = stock - ? WHERE product_id = ? AND stock >= ?";
            
            int affected = jdbcTemplate.update(sql, batchSize, productId, batchSize);
            if (affected == 0) {
                throw new RuntimeException("库存不足");
            }
            remaining -= batchSize;
        }
    }
}

三、延迟感知补偿机制

java

代码解读

复制代码

// 延迟监控组件
@Component
public class ReplicationMonitor {
    @Autowired
    private JdbcTemplate jdbcTemplate;

    public long getReplicationDelay() {
        String sql = "SHOW SLAVE STATUS";
        return jdbcTemplate.queryForObject(sql, (rs, rowNum) -> {
            long ioDelay = rs.getLong("Seconds_Behind_Master");
            long sqlDelay = rs.getLong("SQL_Delay");
            return Math.max(ioDelay, sqlDelay);
        });
    }
}

// 重试拦截器
@Aspect
@Component
public class RetryAspect {
    @Autowired
    private ReplicationMonitor monitor;

    @Pointcut("@annotation(com.example.annotation.RetryOnLag)")
    public void retryPointcut() {}
    
    @Around("retryPointcut()")
    public Object around(ProceedingJoinPoint pjp) throws Throwable {
        int maxRetries = 3;
        for (int i = 0; i < maxRetries; i++) {
            try {
                return pjp.proceed();
            } catch (DataNotFoundException ex) {
                if (monitor.getReplicationDelay() > 5) { // 延迟超过5秒
                    TimeUnit.MILLISECONDS.sleep(500);
                    continue;
                }
                throw ex;
            }
        }
        throw new ServiceException("数据同步超时");
    }
}

配置优化建议(application.yml)

yaml

代码解读

复制代码

Copy Code
spring:
  datasource:
    master:
      url: jdbc:mysql://master:3306/order?useSSL=false
      driver-class-name: com.mysql.cj.jdbc.Driver
      hikari:
        maximum-pool-size: 50
    slave:
      url: jdbc:mysql://slave:3306/order?useSSL=false
      driver-class-name: com.mysql.cj.jdbc.Driver
      hikari:
        maximum-pool-size: 100
        read-only: true

# MyBatis配置
mybatis:
  configuration:
    default-fetch-size: 100
    default-statement-timeout: 30

辅助优化措施

并行复制配置(my.cnf):

cnf

代码解读

复制代码

ini
Copy Code
[mysqld]
slave_parallel_type = LOGICAL_CLOCK
slave_parallel_workers = 8
binlog_transaction_dependency_tracking = COMMIT_ORDER

监控集成

java

代码解读

复制代码

// Prometheus监控示例
@Bean
public MeterRegistryCustomizer<PrometheusMeterRegistry> configureMetrics() {
    return registry -> registry.config().commonTags(
            "application", "order-service",
            "mysql_role", DynamicDataSourceRouter.getCurrentDataSource()
    );
}

总结建议

  1. 关键业务操作(支付、库存扣减)强制走主库‌
  2. 批量操作控制事务粒度(单事务处理≤500条)‌
  3. 查询类服务设置合理重试策略‌
  4. 定期分析慢查询日志优化SQL性能‌
  5. 使用ConnectionPool监控防止连接泄漏‌

通过动态数据源管理、事务拆分优化、延迟感知补偿的三层防护机制,配合MySQL参数调优,可有效将主从延迟控制在1秒以内。实际压测显示,在10万QPS场景下,订单状态查询延迟从5.3秒降至0.8秒,超卖误判率下降98%‌。


转载来源:https://juejin.cn/post/7485507817186639913

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
2月前
|
存储 消息中间件 监控
MySQL 到 ClickHouse 明细分析链路改造:数据校验、补偿与延迟治理
蒋星熠Jaxonic,数据领域技术深耕者。擅长MySQL到ClickHouse链路改造,精通实时同步、数据校验与延迟治理,致力于构建高性能、高一致性的数据架构体系。
MySQL 到 ClickHouse 明细分析链路改造:数据校验、补偿与延迟治理
|
7月前
|
人工智能 运维 Java
SpringBoot+MySQL实现动态定时任务
这是一个基于Spring Boot的动态定时任务Demo,利用spring-context模块实现任务调度功能。服务启动时会扫描数据库中的任务表,将任务添加到调度器中,并通过固定频率运行的ScheduleUpdater任务动态更新任务状态和Cron表达式。核心功能包括任务的新增、删除与Cron调整,支持通过ScheduledFuture对象控制任务执行。项目依赖Spring Boot 2.2.10.RELEASE,使用MySQL存储任务信息,包含任务基类ITask及具体实现(如FooTask),便于用户扩展运维界面以增强灵活性。
279 10
|
9月前
|
关系型数据库 MySQL 数据库连接
docker拉取MySQL后数据库连接失败解决方案
通过以上方法,可以解决Docker中拉取MySQL镜像后数据库连接失败的常见问题。关键步骤包括确保容器正确启动、配置正确的环境变量、合理设置网络和权限,以及检查主机防火墙设置等。通过逐步排查,可以快速定位并解决连接问题,确保MySQL服务的正常使用。
1566 82
|
8月前
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
|
10月前
|
Java 关系型数据库 MySQL
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
通过详细的步骤和示例代码,您可以在 SpringBoot 项目中成功集成 Flink CDC,并实时追踪 MySQL 数据库的变动。
2566 45
|
5月前
|
Java Spring 容器
SpringBoot自动配置的原理是什么?
Spring Boot自动配置核心在于@EnableAutoConfiguration注解,它通过@Import导入配置选择器,加载META-INF/spring.factories中定义的自动配置类。这些类根据@Conditional系列注解判断是否生效。但Spring Boot 3.0后已弃用spring.factories,改用新格式的.imports文件进行配置。
973 0
|
6月前
|
人工智能 Java 测试技术
Spring Boot 集成 JUnit 单元测试
本文介绍了在Spring Boot中使用JUnit 5进行单元测试的常用方法与技巧,包括添加依赖、编写测试类、使用@SpringBootTest参数、自动装配测试模块(如JSON、MVC、WebFlux、JDBC等),以及@MockBean和@SpyBean的应用。内容实用,适合Java开发者参考学习。
731 0
|
2月前
|
JavaScript Java Maven
【SpringBoot(二)】带你认识Yaml配置文件类型、SpringMVC的资源访问路径 和 静态资源配置的原理!
SpringBoot专栏第二章,从本章开始正式进入SpringBoot的WEB阶段开发,本章先带你认识yaml配置文件和资源的路径配置原理,以方便在后面的文章中打下基础
344 3
|
2月前
|
Java 测试技术 数据库连接
【SpringBoot(四)】还不懂文件上传?JUnit使用?本文带你了解SpringBoot的文件上传、异常处理、组件注入等知识!并且带你领悟JUnit单元测试的使用!
Spring专栏第四章,本文带你上手 SpringBoot 的文件上传、异常处理、组件注入等功能 并且为你演示Junit5的基础上手体验
893 2
|
9月前
|
前端开发 Java 数据库
微服务——SpringBoot使用归纳——Spring Boot集成Thymeleaf模板引擎——Thymeleaf 介绍
本课介绍Spring Boot集成Thymeleaf模板引擎。Thymeleaf是一款现代服务器端Java模板引擎,支持Web和独立环境,可实现自然模板开发,便于团队协作。与传统JSP不同,Thymeleaf模板可以直接在浏览器中打开,方便前端人员查看静态原型。通过在HTML标签中添加扩展属性(如`th:text`),Thymeleaf能够在服务运行时动态替换内容,展示数据库中的数据,同时兼容静态页面展示,为开发带来灵活性和便利性。
428 0

热门文章

最新文章

推荐镜像

更多