大key把出口流量打满,导致请求超时

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 大key把出口流量打满,导致请求超时

故障现象和故障定级:12月02日15:00-17:00期间,用户在AA系统中操作时偶发操作失败,请求报错的情况。内部定级为P4级故障

故障原因:为了提升查询速度,每刻使用了redis缓存服务,该缓存服务器在12月02日15:00-17:00期间出现了几次

服务器出口流量达到上限的情况,达到上限后,超出的部分请求失败了。

处理过程:收到报错反馈后,开发和测试人员排查监控发现了redis的性能瓶颈,随即联系运维人员先尝试对redis规格进行升级,但在购买钉钉云的更高规格的服务器时,提示“该地区缺货”,导致没有在第一时间完成升级,问题持续了一段时间后自动恢复了,我们在当晚采取了另外的策略,将该redis服务器上的部分缓存迁移到了其他服务上来分流压力,通过第二天的观察并未再出现问题,且后来在钉钉云服务器到货后我们也升级了规格,目前负载情况处于健康水平。

故障分析复盘和后续方案

1.修改了redis报警规则,由原来的连续出现多次使用率85%的才进行告警改为出现一次即告警,这样可以在更早的时间发现问题。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
网络协议
出网判断:
出网判断:
53 0
|
2天前
|
弹性计算 负载均衡
slb健康检查频率与超时时间
slb健康检查频率与超时时间
12 4
|
13天前
|
弹性计算 负载均衡 网络安全
slb使用中流量转发不均
【10月更文挑战第23天】
32 8
|
4月前
|
弹性计算 负载均衡 网络架构
搞懂链路负载及入口带宽和出口带宽
搞懂链路负载及入口带宽和出口带宽
166 7
|
弹性计算 应用服务中间件
阿里云香港地域服务器访问延迟丢包的原因及解决方法
阿里云提供中国香港地域云服务器,但是香港节点服务器通过公网IP访问其他国家和地区的云服务器ECS会有较高访问延迟,极限情况下可能会产生丢包
3517 0
阿里云香港地域服务器访问延迟丢包的原因及解决方法
|
网络协议 Shell Perl
根据web访问日志,封禁请求量异常的IP,如IP在半小时后恢复正常,则解除封禁
根据web访问日志,封禁请求量异常的IP,如IP在半小时后恢复正常,则解除封禁
106 1
|
SQL 运维 监控
redis瞬时查询返回量过多导致出口流量打满,影响系统整体响应时间
redis瞬时查询返回量过多导致出口流量打满,影响系统整体响应时间
436 0
redis瞬时查询返回量过多导致出口流量打满,影响系统整体响应时间
|
弹性计算 网络协议 应用服务中间件
公网请求slb端口发现大概率会被拒绝连接
公网请求slb端口发现大概率会被拒绝连接
公网请求slb端口发现大概率会被拒绝连接
|
JSON 应用服务中间件 程序员
如何对服务器做IP限流
如何对服务器做IP限流
409 0
|
缓存 负载均衡 算法
5种限流算法,7种限流方式,挡住突发流量?(一)
5种限流算法,7种限流方式,挡住突发流量?
514 0
5种限流算法,7种限流方式,挡住突发流量?(一)