大key把出口流量打满,导致请求超时

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: 大key把出口流量打满,导致请求超时

故障现象和故障定级:12月02日15:00-17:00期间,用户在AA系统中操作时偶发操作失败,请求报错的情况。内部定级为P4级故障

故障原因:为了提升查询速度,每刻使用了redis缓存服务,该缓存服务器在12月02日15:00-17:00期间出现了几次

服务器出口流量达到上限的情况,达到上限后,超出的部分请求失败了。

处理过程:收到报错反馈后,开发和测试人员排查监控发现了redis的性能瓶颈,随即联系运维人员先尝试对redis规格进行升级,但在购买钉钉云的更高规格的服务器时,提示“该地区缺货”,导致没有在第一时间完成升级,问题持续了一段时间后自动恢复了,我们在当晚采取了另外的策略,将该redis服务器上的部分缓存迁移到了其他服务上来分流压力,通过第二天的观察并未再出现问题,且后来在钉钉云服务器到货后我们也升级了规格,目前负载情况处于健康水平。

故障分析复盘和后续方案

1.修改了redis报警规则,由原来的连续出现多次使用率85%的才进行告警改为出现一次即告警,这样可以在更早的时间发现问题。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
12月前
|
网络协议
出网判断:
出网判断:
51 0
|
运维 小程序 应用服务中间件
记录Ngnix增加对IP封禁及自动封禁IP的方案思考
发现某个应用的服务器一些IP地址或是一些IP段请求量巨大,初步确定为非法请求,经过增加IP封禁策略,使其不可访问。
1418 0
记录Ngnix增加对IP封禁及自动封禁IP的方案思考
|
4月前
|
弹性计算 负载均衡 网络架构
搞懂链路负载及入口带宽和出口带宽
搞懂链路负载及入口带宽和出口带宽
153 7
|
6月前
|
域名解析 网络协议 数据库
dns问题之服务器未响应如何解决
DNS服务器是负责将域名转换为IP地址的服务,它是互联网上实现域名解析的关键基础设施;本合集将探讨DNS服务器的工作原理、配置方法和常见问题处理,帮助用户理解和优化DNS服务的使用。
192 10
|
数据采集
代理IP是按照流量计费还是数量计费好?
在选择代理IP服务提供商时,一项重要的考虑因素就是计费方式。流量计费和数量计费,具体该如何进行选择呢?
|
网络协议 Shell Perl
根据web访问日志,封禁请求量异常的IP,如IP在半小时后恢复正常,则解除封禁
根据web访问日志,封禁请求量异常的IP,如IP在半小时后恢复正常,则解除封禁
103 1
|
SQL 运维 监控
redis瞬时查询返回量过多导致出口流量打满,影响系统整体响应时间
redis瞬时查询返回量过多导致出口流量打满,影响系统整体响应时间
436 0
redis瞬时查询返回量过多导致出口流量打满,影响系统整体响应时间
|
弹性计算 网络协议 应用服务中间件
公网请求slb端口发现大概率会被拒绝连接
公网请求slb端口发现大概率会被拒绝连接
公网请求slb端口发现大概率会被拒绝连接
|
JSON 应用服务中间件 程序员
如何对服务器做IP限流
如何对服务器做IP限流
405 0
|
域名解析 缓存 负载均衡
链路问题?高防链接超时
链路问题?高防链接超时
链路问题?高防链接超时