数据同步最终一致性方案:本地消息表 + 消息队列

简介: Taocarts采用“本地消息表+RocketMQ”实现订单创建后的最终一致性同步,避免分布式事务开销。通过事务内写入消息、定时重试发送、Redis幂等消费,保障跨服务(库存/物流/通知)数据可靠传递,送达率达99.99%。

一、问题背景
微服务架构下,跨服务的数据同步是经典难题。在Taocarts系统中,订单创建后需要同步到库存服务(扣减库存)、物流服务(生成运单)、通知服务(发送邮件)等多个下游系统。
如果采用强一致性的分布式事务(如2PC),性能和复杂性都会急剧上升。Taocarts选择的是“本地消息表+消息队列”方案,实现最终一致性。
二、本地消息表设计
sql
CREATE TABLE local_message ( id BIGINT PRIMARY KEY AUTO_INCREMENT, message_id VARCHAR(64) NOT NULL, topic VARCHAR(64) NOT NULL, payload TEXT NOT NULL, status TINYINT NOT NULL DEFAULT 0 COMMENT '0-待发送, 1-已发送, 2-发送失败', retry_count INT NOT NULL DEFAULT 0, max_retries INT NOT NULL DEFAULT 3, next_retry_time DATETIME DEFAULT NULL, created_at DATETIME DEFAULT CURRENT_TIMESTAMP, UNIQUE KEY uk_message_id (message_id), KEY idx_status_next_retry (status, next_retry_time));
三、订单创建时写入本地消息
在订单创建的事务中同时写入本地消息记录:
java
@Service@Transactionalpublic class OrderService { public void createOrder(OrderDTO orderDTO) { // 1. 保存订单 Order order = new Order(); order.setOrderNo(generateOrderNo()); orderMapper.insert(order); // 2. 保存本地消息 LocalMessage msg = new LocalMessage(); msg.setMessageId(UUID.randomUUID().toString()); msg.setTopic("ORDER_CREATED"); msg.setPayload(JSON.toJSONString(order)); msg.setStatus(0); msg.setNextRetryTime(new Date()); messageMapper.insert(msg); }}
四、后台任务扫描并发送
java
@Componentpublic class MessageSendScheduler { @Scheduled(fixedDelay = 5000) public void sendPendingMessages() { List messages = messageMapper.selectPendingMessages(100); for (LocalMessage msg : messages) { try { SendResult result = rocketMQTemplate.syncSend(msg.getTopic(), msg.getPayload()); if (result.getSendStatus() == SendStatus.SEND_OK) { msg.setStatus(1); messageMapper.updateById(msg); } } catch (Exception e) { msg.setRetryCount(msg.getRetryCount() + 1); if (msg.getRetryCount() >= msg.getMaxRetries()) { msg.setStatus(2); alertService.send("消息进入死信队列: " + msg.getMessageId()); } else { long delayMinutes = 1L << msg.getRetryCount(); msg.setNextRetryTime(new Date(System.currentTimeMillis() + delayMinutes 60 1000)); } messageMapper.updateById(msg); } } }}
五、消费端幂等处理
java
@Component@RocketMQMessageListener(topic = "ORDER_CREATED", consumerGroup = "inventory-consumer")public class InventoryConsumer implements RocketMQListener { @Override public void onMessage(String message) { String messageId = JSON.parseObject(message).getString("messageId"); String key = "processed:" + messageId; Boolean success = redisTemplate.opsForValue().setIfAbsent(key, "1", Duration.ofHours(24)); if (Boolean.FALSE.equals(success)) { log.info("消息已处理过,跳过: {}", messageId); return; } try { inventoryService.deductStock(...); } catch (Exception e) { redisTemplate.delete(key); throw e; } }}
六、总结
Taocarts通过本地消息表+消息队列成功解耦了订单创建与下游服务的依赖,消息送达率达到99.99%。核心经验是:分布式系统要接受“最终一致性”,而不是追求“强一致性”。

目录
相关文章
|
2月前
|
Java 应用服务中间件 API
反向海淘系统服务治理实践:Sentinel熔断降级保障大促稳定性
Taocarts在黑五大促中因1688 API超时引发雪崩。引入Sentinel后,通过QPS限流、熔断降级(自动转队列)和系统负载保护,将API超时率从15%压降至2%,P99延迟下降至220ms,可用性达99.95%+,有效阻断级联故障。(239字)
240 0
|
2月前
|
消息中间件 NoSQL API
反向海淘系统高并发秒杀实战:Redis+Lua分布式锁防超卖
Taocarts跨境电商秒杀系统采用Redis+Lua原子扣减、分布式锁防重、消息队列异步解耦,成功应对黑五大促瞬时高并发(QPS达8000),实现零超卖、响应降至80ms,保障大促稳定可靠。(239字)
266 0
|
2月前
|
消息中间件 JSON NoSQL
跨境电商独立站数据同步方案:本地消息表 + RocketMQ 实现最终一致性
Taocarts采用“本地消息表+RocketMQ”实现最终一致性分布式数据同步:订单创建时事务写入消息表,后台定时扫描发送并指数退避重试;消费端基于Redis幂等处理;死信自动告警、支持人工干预。生产环境消息送达率达99.99%。(238字)
121 0
|
安全 大数据 测试技术
Mongodb亿级数据量的性能测试比较完整收藏一下
原文地址:http://www.cnblogs.com/lovecindywang/archive/2011/03/02/1969324.html 进行了一下Mongodb亿级数据量的性能测试,分别测试如下几个项目: (所有插入都是单线程进行,所有读取都是多线程进行) 1) 普通插入性能 (插...
5011 0
|
6月前
|
人工智能 自然语言处理 程序员
2026年OpenClaw/Clawdbot 极速部署教程+72个精选Skills打造全能AI助手
从只会写代码的“工具人”,到能写公众号、管邮件、做数据分析、定决策的全能AI助理,只需为OpenClaw(原Clawdbot/Moltbot)装上合适的Skills。2026年OpenClaw官方技能仓库**awesome-openclaw-skills**已收录3002个社区构建技能,覆盖内容创作、开发工具、自动化运营等全场景,遵循Anthropic开放标准,即装即用。
2285 11
|
2月前
|
前端开发 Java Nacos
Nacos 注解全解析:7 个核心注解 + 5 个生产踩坑清单(2026 实测)
Nacos 注解用错,是 90% 微服务 Bug 的根源。本文把注册发现、配置热更新的 7 个核心注解、动态刷新原理和 5 个生产踩坑一次讲透,附可运行代码。
416 2
Nacos 注解全解析:7 个核心注解 + 5 个生产踩坑清单(2026 实测)
|
28天前
|
人工智能 运维 安全
Qoder CN 本土化编程智能体全解析:多端适配、工程级开发与完整接入实操指南
Qoder CN作为本土化专业AI编程智能体,完成全维度产品体系迭代升级,整合多端编程工具、全局代码理解、跨文件工程重构、私域知识库适配四大核心能力,面向零基础编程学习者、独立研发工程师、中小型技术团队、大型企业研发部门打造一站式全栈智能编程平台。和通用对话大模型存在本质区别,Qoder CN深度贴合国内开发习惯、本土代码规范、主流工程架构与开源项目生态,依托百炼大模型生态实现多国产大模型兼容调用,搭配分层清晰的订阅计费体系与轻量化零门槛接入流程,覆盖代码入门练习、日常业务开发、大型项目迭代、企业规范化研发、涉密合规编码等全维度场景,是当前国内本土化AI编程工具中兼顾实用性、安全性与性价比的标
268 0
|
2月前
|
存储 人工智能 Java
【Spring全家桶】Spring AI核心原理、大模型集成、Prompt工程、RAG实现、AI Agent开发(附《思维导图》+《面试高频考点清单》)
Spring AI是Spring生态面向生成式AI的官方框架,以“抽象即自由”为核心,提供统一API、多厂商模型支持(OpenAI/Anthropic/Ollama等)、RAG、Agent及向量存储集成,让Java开发者零门槛构建生产级AI应用。
|
1月前
|
人工智能 IDE Java
阿里云Qoder CN v1.4.1全栈实战指南:从代码补全到自主智能体开发
原阿里云通义灵码完成品牌升级后正式命名为Qoder CN,当前稳定版本为v1.4.1,产品定位从基础代码补全工具升级为全栈Agentic智能编程平台,彻底区别于传统对话式编码工具。平台搭建三层分层能力体系,依托Quest自主任务、多文件Agent编辑、Repo项目知识库三大核心能力,可独立完成需求拆解、方案设计、多文件编码、自测验证、项目文档沉淀全流程研发工作。全文结合Spring Boot单体迁移、微服务拆分、分库分表、单元测试覆盖四大企业真实项目场景,完整覆盖多端安装部署、百炼模型接入、编码规则配置、多模式开发、团队协作、MCP工具扩展全链路实操,同时横向对比海外主流编码工具,梳理国产合规
410 1
|
5月前
|
Kubernetes 监控 安全
别再说“多活一份数据就安全了”:云上灾备的真相,是你根本没想清楚 RTO / RPO
别再说“多活一份数据就安全了”:云上灾备的真相,是你根本没想清楚 RTO / RPO
458 9

热门文章

最新文章