深入理解分布式系统中的缓存架构(下)

简介:
+关注继续查看

承接上一篇《理解分布式系统中的缓存架构(上)》,介绍了大型分布式系统中缓存的相关理论,常见的缓存组件以及应用场景,本文主要介绍缓存架构设计常见问题以及解决方案,业界案例。

1 分层缓存架构设计

webp
webp

2 缓存带来的复杂度问题

常见的问题主要包括

数据一致性

缓存穿透

缓存雪崩

缓存高可用

缓存热点 下面逐一介绍分析这些问题以及相应的解决方案。

数据一致性

因为缓存属于持久化数据的一个副本,因此不可避免的会出现数据不一致问题。导致脏读或读不到数据的情况。数据不一致,一般是因为网络不稳定或节点故障导致

问题出现的常见3个场景以及解决方案:

webp

缓存穿透

缓存一般是Key,value方式存在,当某一个Key不存在时会查询数据库,假如这个Key,一直不存在,则会频繁的请求数据库,对数据库造成访问压力。

主要解决方案

对结果为空的数据也进行缓存,当此key有数据后,清理缓存

一定不存在的key,采用布隆过滤器,建立一个大的Bitmap中,查询时通过该bitmap过滤

缓存雪崩

webp

缓存高可用

缓存是否高可用,需要根据实际的场景而定,并不是所有业务都要求缓存高可用,需要结合具体业务,具体情况进行方案设计,例如临界点是是否对后端的数据库造成影响。

主要解决方案

分布式:实现数据的海量缓存

复制:实现缓存数据节点的高可用

缓存热点

一些特别热点的数据,高并发访问同一份缓存数据,导致缓存服务器压力过大。

解决:复制多份缓存副本,把请求分散到多个缓存服务器上,减轻缓存热点导致的单台缓存服务器压力

3 业界案例

案例主要参考新浪微博陈波的技术分享

技术挑战

webp

Feed缓存架构图

webp

架构特点

新浪微博把SSD应用在分布式缓存场景中,将传统的Redis/MC + Mysql方式,扩展为 Redis/MC + SSD Cache + Mysql方式,SSD Cache作为L2缓存使用,第一降低了MC/Redis成本过高,容量小的问题,也解决了穿透DB带来的数据库访问压力

迎工作一到五年的Java工程师朋友们加入Java架构开发:860113481

群内提供免费的Java架构学习资料(里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码,MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多个知识点的架构资料)合理利用自己每一分每一秒的时间来学习提升自己,不要再用"没有时间“来掩饰自己思想上的懒惰!趁年轻,使劲拼,给未来的自己一个交代!

主要在数据架构、性能、储存成本、服务化等不同方面进行了优化增强

webp
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
2天前
|
缓存 NoSQL 应用服务中间件
基于Nginx+Lua优化多级缓存架构
基于Nginx+Lua优化多级缓存架构
9 0
|
2天前
|
缓存 NoSQL 应用服务中间件
基于Redis和Nginx实现高并发缓存架构
基于Redis和Nginx实现高并发缓存架构
10 0
|
2天前
|
存储 缓存 应用服务中间件
微服务架构间数据传输,我坚决反对用缓存!
微服务架构间数据传输,我坚决反对用缓存!
17 0
|
1月前
|
存储 缓存 编解码
Spring缓存架构详解-Spring官方原版-全面解析
Spring缓存架构详解-Spring官方原版-全面解析
61 0
|
11月前
|
缓存 运维 前端开发
亿级流量电商详情页系统实战:缓存架构+高可用服务架构+微服务架构
亿级流量电商详情页系统的完整大型架构。同时最重要的是,在完全真实的大型电商详情页系统架构下,全流程实战了整套微服务架构,包含了基于领域驱动设计进行微服务建模、Spring Cloud、基于DevOps的持续交付流水线与自动化测试套件、基于Docker的自动化部署。此外,还包含了大型电商详情页系统架构中的多种复杂架构设计的详细介绍。
333 0
|
canal 存储 缓存
【架构】千万级购物车系统缓存架构方案
本文主要介绍redis在千万级系统中设计架构方案,包括主架构设计、缓存一致性方案、大value处理方案和redis限流和故障恢复降级
【架构】千万级购物车系统缓存架构方案
|
存储 缓存 监控
剑指offer之java缓存总结,从单机缓存到分布式缓存架构
剑指offer之java缓存总结,从单机缓存到分布式缓存架构
197 0
剑指offer之java缓存总结,从单机缓存到分布式缓存架构
|
存储 缓存 NoSQL
大型分布式系统中的缓存架构
大型分布式系统中的缓存架构
169 0
大型分布式系统中的缓存架构
|
SQL 存储 缓存
缓存架构中的服务详解!SpringBoot中二级缓存服务实现
本文分析了在微服务架构项目中SpringBoot框架里的缓存的集成和使用。通过真实的案例说明了如何创建缓存服务,包括创建缓存服务的接口,创建缓存服务的提供者和缓存服务的消费者。重点分析了MyBatis中的二级缓存,主要说明了MyBatis中二级缓存的配置和使用。通过对本文的学习,可以清楚地了解到SpringBoot中的缓存功能以及缓存在MyBatis框架中的应用。
243 0
缓存架构中的服务详解!SpringBoot中二级缓存服务实现
|
缓存 NoSQL Redis
高并发架构系列:Redis缓存和MySQL数据一致性方案详解
一、需求起因 在高并发的业务场景下,数据库大多数情况都是用户并发访问最薄弱的环节。所以,就需要使用redis做一个缓冲操作,让请求先访问到redis,而不是直接访问MySQL等数据库。 这个业务场景,主要是解决读数据从Redis缓存,一般都是按照下图的流程来进行业务操作。
6273 0
推荐文章
更多