mysql和Redis如何保持数据一致性

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,企业版 4核16GB
推荐场景:
HTAP混合负载
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
简介: 文档讨论了在系统重建时如何处理数据库和缓存的一致性问题。关键点包括:数据库(如MySQL)和分布式ID生成器可能不宜轻易替换,而代码可以通过兼容性改造来适应新系统。文中以CPU、Memory和Disk的比喻解释了缓存(如Redis)在性能优化中的作用。为确保MySQL和Redis间的一致性,提到了四种策略:Read/Write Through、Write Behind、Cache Aside(先写数据库后更新缓存或先删除缓存后更新数据库)以及先写缓存后写数据库。考虑到读多写少和低频写操作的业务场景,最终选择了先写数据库后更新缓存的策略,并利用canal保证消息顺序性以实现最终一致性。

1.1 还有哪些问题需要考虑?

每个模块的设计目标并不一样,在做这次重建之前,有一个至关重要的前提是,新建系统要兼容旧系统,那就意味着有些组件不能被替换掉,尤其是数据库部分。

哪些组件不能被替换掉呢?

  1. 数据库,目前用的mysql,如果你说我就要替换掉,那也不是不可能,但就是成本比较高,但又有什么理由去做一个费力不讨好的事儿呢?
  2. 数据库主键生成策略目前采用的是分布式id生成器,系统已经运行了好几年了,但我们目前的数据库表的记录不到100w,我真不知道当时为啥选择分布式id生成器,用主键不香吗?一般用分布式ID主要是分库分表,但我们目前的业务增长量好像近期也不需要分库分表啊。而且分布式id生成器需要进行网络通讯,万一网络抖动了导致无法生成主键id,那岂不是很麻烦?凡是依赖于网络的都存在不可靠的因素。

有哪些可以被替换掉的?

代码,代码还是代码,代码做好兼容性就好了,也许会费点时间,那又何妨,换来一个清爽的,简约的结构不爽吗?

2. 技术方案选型

先讲个故事,我有三个朋友,他们是大C,M,和小D。

大C做事情非常麻利从来不拖泥带水,交给他的事情他都能帮你办的妥妥的。

小D慢性子,社恐,但做事情非常仔细,循规蹈矩,不出格,你交给他的事情除了慢一点,没别的毛病。

M呢,和事佬,经常调节大C和小D之间的矛盾,大C总是嫌小D做事情拖拖拉拉,慢慢腾腾的,他们两个一旦有矛盾,M总会出现。

我这三个朋友他们分别是 CPU,Memory,Disk。

我偷偷的告诉你,后来大C觉得总是麻烦M,很不落忍,于是他经常把自己和小D的矛盾积攒在一起,然后一次性交给M来帮忙解决,积攒在一起的这个地方叫 L Cache。

如果要做到高性能,业内通常的做法是加缓存,在快和慢之间

如果要做到高并发,那肯定不能一个人全把活干了,需要多个像CMD这样的组合,这就是横向扩展。

在上边的故事中,我们捋清楚了他们各自的角色,但有一点需要特别注意,小D的工作任务怎么能有条不紊的交给M呢,他们之间是不是得有条航线啊,这条航线叫操作系统。 万一这条航线断掉怎么办呢?

2.1 mysql和Redis如何保持一致性

说了半天,其实我想跟你探讨如果小D是mysql,M是Redis,怎么保证mysql和Redis的数据一致性呢,我调研了业内的一些做法,别嫌麻烦,看一看也许能让你年薪50w,当然也有可能100w,总之祝福你。

经典的缓存方式有三种:

  1. read/write Through : 读/写直接操作缓存,如果缓存未命中,读/写把数据库数据加载到缓存。整个操作有缓存中间件去完成。
  2. write behind :先写缓存,后写数据库,会带来不一致。
  3. cache aside:
    失效:应用程序从缓存中取,如果未命中,则从数据库中取,然后放到缓存。
    命中: 缓存命中,直接取缓存中数据
    更新:先更新数据库,然后让缓存失效。

根据cache aside的几种情况,详细拆解为以下几种情况。

ini

复制代码

策略1:先写数据库,后更新缓存

case1:数据库成功,缓存失败:
数据库值最新的,缓存值是旧的; 这将导致不一致。
解决方法:重试一直到缓存更新成功,在重试之前会存在短暂的不一致,但会最终一致。

case2:并发场景::
线程A更改数据库FieldA=1,线程B更改数据库FeildA=2, 线程B对缓存的更改晚于线程A,
导致缓存结果是FieldA=1而数据库结果是FieldA=2 --不一致。
解决方法:数据按照更新的顺序同步到缓存,在更新到缓存之前会出现短暂的不一致,但最终会一致。

case3:大量更新操作
如果存在大量的更新操作会影响性能;会出现非热点数据长期在缓存中,浪费内存空间的问题。
解决方法:适用于低频的写操作;同时给缓存数据设置过期时间

css

复制代码

策略2:先写数据库,后删缓存

case1:数据库成功,缓存失败:
数据库值是最新的,缓存是旧值:-不一致。
解决方法:重试机制会最终一致,但在重试成功之前会有短暂的不一致。

case2:并发场景:
线程A更改FieldA=1,线程B更改FeildA=2, 线程B对缓存的更改晚于线程A
不会出现不一致场景,此刻是缓存被删除了,最终数据一致

case3:并发场景:
读取FieldA,这个时候缓存恰好失效,线程A需要从数据库中读取数据,同时有个并发的写操作对FieldA进行更改,
数据库更新完成后,使缓存失效,
恰好这个时候读操作把旧值放到缓存,导致数据不一致。
解决方法:这种场景发生需要具备 读的速度要慢于写的速度并且有并发写操作下,
一般这种数据库读速度是远大于写的速度,这种事情发生的概率很小

case4:网络抖动
线程A更改FieldA=1,线程B更改FeildA=2;数据库目前最新值是FeildA=2
由于网络抖动导致缓存未同步,读操作取的还是缓存旧值,等待网络恢复,缓存被删除。- 最终一致

复制代码

策略3:先写缓存,后写数据库	

case1: 缓存成功,数据库失败:此时缓存的数据是脏数据

复制代码

策略4: 先删除缓存,后更新数据库
case1: 缓存成功,数据库失败:丢失新的请求

猜猜按照我们的业务场景,最终选择了哪一种呢?

奖券的修改属于读多写少的场景,同时写操作属于低频操作,并不会存在因大量更新导致的性能低下。

如果采用策略2,如果有大量缓存失效,那将会有大量请求分发到数据库中,导致数据库压力上升,目前在读多写少的场景中,希望更多的命中缓存的方式。

如果采用策略1需要解决的问题是:消息的顺序性;容忍短暂的不一致

通过调研canal在同步binlog的机制中可以按照顺序进行同步 在高并发场景中不会出现错误,所以在业务场景中,我们选择了策略1。


转载来源:https://juejin.cn/post/7360498535076347944

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
5天前
|
NoSQL 关系型数据库 MySQL
linux服务器重启php,nginx,redis,mysql命令
linux服务器重启php,nginx,redis,mysql命令
14 1
|
6天前
|
关系型数据库 MySQL 分布式数据库
PolarDB产品使用问题之要验证MySQL迁移后的数据库数据与迁移前的数据一致性,该怎么办
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
PolarDB产品使用问题之要验证MySQL迁移后的数据库数据与迁移前的数据一致性,该怎么办
|
6天前
|
关系型数据库 MySQL 数据库
mysql实现并发控制和数据一致性的原理
mysql实现并发控制和数据一致性的原理
|
7天前
|
NoSQL 关系型数据库 MySQL
一文学会dockers安装 (附docker安装MySQL、Redis)
一文学会dockers安装 (附docker安装MySQL、Redis)
38 0
|
21天前
|
NoSQL 关系型数据库 Serverless
Serverless 应用引擎产品使用合集之连接RDS、Redis等数据库时,是否需要通过安全组来控制访问权限
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
25天前
|
NoSQL 关系型数据库 应用服务中间件
jdk1.8、mysql、redis、nginx centos云服务器安装配置
jdk1.8、mysql、redis、nginx centos云服务器安装配置
|
1天前
|
SQL 存储 关系型数据库
MySQL数据库—初识数据库 | DDL语句 | DML语句
MySQL数据库—初识数据库 | DDL语句 | DML语句
|
1天前
|
Java 关系型数据库 MySQL
使用MySQL JDBC连接数据库
使用MySQL JDBC连接数据库
|
1天前
|
存储 关系型数据库 MySQL
|
3天前
|
关系型数据库 MySQL 测试技术
《阿里云产品四月刊》—瑶池数据库微课堂|RDS MySQL 经济版 vs 自建 MySQL 性能压测与性价比分析
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代

相关产品

  • 云数据库 Redis 版
  • 云数据库 RDS MySQL 版