NoSQL数据库
关注
阿里云NoSQL数据库提供了一种灵活的数据存储方式,可以支持各种数据模型,包括文档型、图型、列型和键值型。此外,它还提供了一种分布式的数据处理方式,可以支持高可用性和容灾备份。包含Redis社区版和Tair、多模数据库 Lindorm、MongoDB 版。
0
今日
1338
内容
15
活动
1724
关注
来自:
数据库
阿里云 Tair 联手 SGLang 共建 HiCache,构建面向“智能体式推理”的缓存新范式
本文系统剖析面向智能体推理的 KVCache 技术演进,针对传统机制在长上下文、多轮决策与多智能体协同中的状态膨胀、持久化缺失和缓存孤立三大瓶颈,介绍阿里云 Tair KVCache 团队联合 SGLang 社区推出的 HiCache 分层缓存体系。该方案通过显存-内存-3FS 多级卸载与全局共享,实现缓存命中率提升至80%,TTFT 降低56%,推理 QPS 翻倍,支撑智能体时代的大模型高效推理。
576
0
0
Redis热点key解决方案
本文介绍了Redis中热点Key的产生原因及解决方案。热点Key通常由用户访问集中或数据分片不均导致,可能引发流量过载、缓存穿透等问题。文章详细分析了多种应对策略,包括服务端缓存、使用Memcache/Redis、本地缓存以及随机后缀法,并探讨了各方案的优缺点和适用场景,旨在帮助开发者有效应对高并发下的缓存热点问题。
457
0
0
我要发布