本地缓存Caffeine系列(二)

简介: 本地缓存Caffeine系列(二)

一、缓存之王Caffeine的三大核心结构

(1)、为什么能够实现最高400wqps超高吞吐超高并发,和超高并发的数据结构有关系

①、striped buffer条带环形队列:使用在缓存读日志(读操作) 高并发读队列场景

②、海量任务调度5级时间轮:使用在海量缓存记录过期管理场景

③、JCTool的Mpsc超高性能无锁队列:使用在缓存写日志(写操作)高并发写入队列场景。

二、hotKey出现典型业务场景,解决方案

预期外的访问量抖增,如突然出现的爆款商品,访问量暴涨的热点新闻,直播间某大主播搞活动大量的刷屏点赞。

原因分析:

数十万的访问请求同一个key,流量集中打在一个缓存节点机器,这个缓存机器很容易被打到物理网卡,宽带,CPU的极限,从而导致缓存访问变慢,卡顿。从而导致分布式缓存性能变差,缓存击穿,缓存雪崩的问题。因为hotkey的吞吐量实在太大,物理资源是有限的。

普通hotkey的场景:

可以提前评估出hotkey的场景

比如一些Saas系统中,部门组织机构数据,租户基础数据

对于重要节假日,线上促销活动,集中推送这些提前已知的事情

解决方案:

①、多副本的方案:可以将这些热key进行分散处理,比如一个热key的名字叫做hotkey,可以分散为hotkey1,hotkey2,hotkey3,...hotkeyn,这n个key分散存在多个缓存节点。

然后client端请求时,随机访问其中某个后缀的hotkey,这样就可以把热key的请求打散,避免一个缓存节点过载。

②、本地缓存HotKey,通过发布订阅解决数据一致性问题,提前进行本地缓存的预加载。用户的访问的时候尽量命中本地缓存。这时就不会访问分布式缓存。这就不存在物理资源不够的情况

需要解决两个问题:

本地缓存的预热

通过发布订阅解决本地缓存解决redis,db数据一致性问题

突发性Hotkey场景:

不可以提前评估出hotkey场景:

预期外的访问量增,如突然出现的爆款商品,访问量暴涨的热点新闻,直播间某大主播搞活动大量的刷屏点赞。

比如最近新闻,新发表的微博被访问的频率最高,而比较久远的之前的新闻,微博被访问的频率就会小很多。而在突发事件发生时,大量的用户同时去访问这个突发热点信息,访问这个hotkey。

这个突发热点信息所在的缓存节点就很容易出现过载和卡顿现象,甚至会出现crash崩溃。

hotkey引发缓存系统异常,主要因为突发热门事件发生时,超大量的请求访问热点事件对应的key,比如微博中数十万,数百万的用户同时去吃一个新瓜。

解决方案:

①、多副本的方案:可以将这些热key进行分散处理,比如一个热key的名字叫做hotkey,可以分散为hotkey1,hotkey2,hotkey3,...hotkeyn,这n个key分散存在多个缓存节点。

然后client端请求时,随机访问其中某个后缀的hotkey,这样就可以把热key的请求打散,避免一个缓存节点过载。

②、本地缓存HotKey,通过发布订阅解决数据一致性问题,提前进行本地缓存的预加载。用户的访问的时候尽量命中本地缓存。这时就不会访问分布式缓存。这就不存在物理资源不够的情况

关键点在于hotkey在线计算和识别

方案:流式计算框架:storm/flink:在核心的底层原理参考storm

        高并发的hotkey计算中间件:基于时间窗原理实现的,京东双十一所采用的方案,经过生产考验的。

相关文章
|
8天前
|
弹性计算 人工智能 架构师
阿里云携手Altair共拓云上工业仿真新机遇
2024年9月12日,「2024 Altair 技术大会杭州站」成功召开,阿里云弹性计算产品运营与生态负责人何川,与Altair中国技术总监赵阳在会上联合发布了最新的“云上CAE一体机”。
阿里云携手Altair共拓云上工业仿真新机遇
|
4天前
|
机器学习/深度学习 算法 大数据
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
2024“华为杯”数学建模竞赛,对ABCDEF每个题进行详细的分析,涵盖风电场功率优化、WLAN网络吞吐量、磁性元件损耗建模、地理环境问题、高速公路应急车道启用和X射线脉冲星建模等多领域问题,解析了问题类型、专业和技能的需要。
2463 14
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
|
4天前
|
机器学习/深度学习 算法 数据可视化
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
2024年中国研究生数学建模竞赛C题聚焦磁性元件磁芯损耗建模。题目背景介绍了电能变换技术的发展与应用,强调磁性元件在功率变换器中的重要性。磁芯损耗受多种因素影响,现有模型难以精确预测。题目要求通过数据分析建立高精度磁芯损耗模型。具体任务包括励磁波形分类、修正斯坦麦茨方程、分析影响因素、构建预测模型及优化设计条件。涉及数据预处理、特征提取、机器学习及优化算法等技术。适合电气、材料、计算机等多个专业学生参与。
1503 14
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
|
1月前
|
运维 Cloud Native Devops
一线实战:运维人少,我们从 0 到 1 实践 DevOps 和云原生
上海经证科技有限公司为有效推进软件项目管理和开发工作,选择了阿里云云效作为 DevOps 解决方案。通过云效,实现了从 0 开始,到现在近百个微服务、数百条流水线与应用交付的全面覆盖,有效支撑了敏捷开发流程。
19274 29
|
1月前
|
人工智能 自然语言处理 搜索推荐
阿里云Elasticsearch AI搜索实践
本文介绍了阿里云 Elasticsearch 在AI 搜索方面的技术实践与探索。
18822 20
|
1月前
|
Rust Apache 对象存储
Apache Paimon V0.9最新进展
Apache Paimon V0.9 版本即将发布,此版本带来了多项新特性并解决了关键挑战。Paimon自2022年从Flink社区诞生以来迅速成长,已成为Apache顶级项目,并广泛应用于阿里集团内外的多家企业。
17515 13
Apache Paimon V0.9最新进展
|
6天前
|
编解码 JSON 自然语言处理
通义千问重磅开源Qwen2.5,性能超越Llama
击败Meta,阿里Qwen2.5再登全球开源大模型王座
365 11
|
1月前
|
存储 人工智能 前端开发
AI 网关零代码解决 AI 幻觉问题
本文主要介绍了 AI Agent 的背景,概念,探讨了 AI Agent 网关插件的使用方法,效果以及实现原理。
18697 16
|
2天前
|
算法 Java
JAVA并发编程系列(8)CountDownLatch核心原理
面试中的编程题目“模拟拼团”,我们通过使用CountDownLatch来实现多线程条件下的拼团逻辑。此外,深入解析了CountDownLatch的核心原理及其内部实现机制,特别是`await()`方法的具体工作流程。通过详细分析源码与内部结构,帮助读者更好地理解并发编程的关键概念。
|
2天前
|
SQL 监控 druid
Druid连接池学习
Druid学习笔记,使用Druid进行密码加密。参考文档:https://github.com/alibaba/druid
195 82