【Azure Redis 缓存】Azure Redis 异常 - 因线程池Busy而产生的Timeout异常问题

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 【Azure Redis 缓存】Azure Redis 异常 - 因线程池Busy而产生的Timeout异常问题

问题描述

StackExchange.Redis在使用线程池后,偶尔会出现Timeout awaiting response 或者 No connection is available to service this operation的异常消息,完整的错误异常如:

StackExchange.Redis.RedisTimeoutException: Timeout awaiting response (outbound=0KiB, inbound=0KiB, 20016ms elapsed, timeout is 20000ms), command=GET, next: GET VMD:LVSHFXXXXXXXX, inst: 0, qu: 10, qs: 1167, aw: True, bw: Inactive, rs: ReadAsync, ws: Writing, in: 0, serverEndpoint: Unspecified/xxxxredis.redis.cache.chinacloudapi.cn:6380, mgr: 9 of 10 available, clientName: RD00xxxxxxxx, IOCP: (Busy=3,Free=997,Min=200,Max=1000), WORKER: (Busy=367,Free=1680,Min=300,Max=2047), v: 2.0.601.3402 (Please take a look at this article for some common client-side issues that can cause timeouts: 

StackExchange.Redis.RedisConnectionException: No connection is available to service this operation: SET VMD:LVSHFXXXXXXXX; IOCP: (Busy=4,Free=996,Min=200,Max=1000), WORKER: (Busy=344,Free=1703,Min=300,Max=2047), Local-CPU: n/a

Timeout performing GET orderfortjw, inst: 5, mgr: Inactive, err: never, queue: 10, qu: 0, qs: 15, qc: 0, wr: 0, wq: 0, in: 1826, ar: 0, clientName: RD00155D45335D, serverEndpoint: Unspecified/order-api.redis.cache.chinacloudapi.cn:6380, keyHashSlot: 545, IOCP: (Busy=0,Free=1000,Min=100,Max=1000), WORKER: (Busy=35,Free=23764,Min=100,Max=23764)

 StackExchange.Redis.RedisTimeoutException: Timeout performing GET orderforvb1dm6g0m, inst: 6, mgr: Inactive, err: never, queue: 913, qu: 0, qs: 913, qc: 0, wr: 0, wq: 0, in: 65536, ar: 0, clientName: RD00155D45352D, serverEndpoint: Unspecified/order-api.redis.cache.chinacloudapi.cn:6380, keyHashSlot: 1255, IOCP: (Busy=0,Free=1000,Min=2,Max=1000), WORKER: (Busy=3,Free=23764,Min=2,Max=23764)

 

问题原因

在异常消息中,最重要的信息为IOCP, WORKER两部分, 这是因为CLR(Common Language Runtime公共语言运行库)有两种类型的线程, Worker" 和 "I/O Completion Port" (IOCP) 线程。

  • WORKER: 对于诸如处理 Task.Run(…)ThreadPool.QueueUserWorkItem(…) 方法这类事务,请使用WORKER线程。 需要在后台线程上进行工作时,CLR 中的各种组件也会使用这些线程。
  • IOCP: 进行异步 IO(例如从网络进行读取)时,使用 IOCP 线程

一旦Busy线程数达到Min线程数,ThreadPool 便会将插入新线程的速率限制为每 500 毫秒一个线程。如果Busy的工作多于配置的Min设置,则在处理某些工作时会出现一定的延迟,因为 ThreadPool 会等待发生以下两种情况之一。

  • 一个现有线程释放,以便处理工作。
  • 在 500 毫秒内没有任何现有线程释放,因此会创建一个新线程。

基本上,这意味着Busy线程数大于Min线程数,在应用程序处理网络流量之前可能需要付出 500 毫秒延迟。 如果 IOCP 或WORKER线程受到限制,则 StackExchange.Redis 可能会超时等异常。

  1. StackExchange.Redis.RedisTimeoutException: Timeout awaiting response ... IOCP: (Busy=3,Free=997,Min=200,Max=1000), WORKER: (Busy=367,Free=1680,Min=300,Max=2047)
  2. StackExchange.Redis.RedisConnectionException ... IOCP: (Busy=4,Free=996,Min=200,Max=1000), WORKER: (Busy=344,Free=1703,Min=300,Max=2047)

如以上的错误消息中,IOCP的线程数工作正常,没有超过Min值。但是Worker的线程数Busy状态分别为367,344都大于最小值(Min)300,所以出现RedisTimeoutException或RedisConnectionException异常。

 

解决办法

建议将 IOCP 和Worker 线程的最小配置值设置为大于默认值。此设置会影响复杂应用程序其他部分的性能,因此每个应用需要按照其特定需求来微调此设置。开始时设置为 200 或 300 会比较好,随后可进行测试并根据需要进行调整。

在.NET中的设置示例如下:

private readonly int minThreads = 200;
void Application_Start(object sender, EventArgs e)
{
    // Code that runs on application startup
    AreaRegistration.RegisterAllAreas();
    RouteConfig.RegisterRoutes(RouteTable.Routes);
    BundleConfig.RegisterBundles(BundleTable.Bundles);
    ThreadPool.SetMinThreads(minThreads, minThreads);
}

 

参考资料

Redis 有关线程池增长的重要详细信息https://docs.microsoft.com/zh-cn/azure/azure-cache-for-redis/cache-management-faq#important-details-about-threadpool-growth

 

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
19天前
|
canal 缓存 NoSQL
Redis缓存与数据库如何保证一致性?同步删除+延时双删+异步监听+多重保障方案
根据对一致性的要求程度,提出多种解决方案:同步删除、同步删除+可靠消息、延时双删、异步监听+可靠消息、多重保障方案
Redis缓存与数据库如何保证一致性?同步删除+延时双删+异步监听+多重保障方案
|
2月前
|
缓存 NoSQL Java
Redis深度解析:解锁高性能缓存的终极武器,让你的应用飞起来
【8月更文挑战第29天】本文从基本概念入手,通过实战示例、原理解析和高级使用技巧,全面讲解Redis这一高性能键值对数据库。Redis基于内存存储,支持多种数据结构,如字符串、列表和哈希表等,常用于数据库、缓存及消息队列。文中详细介绍了如何在Spring Boot项目中集成Redis,并展示了其工作原理、缓存实现方法及高级特性,如事务、发布/订阅、Lua脚本和集群等,帮助读者从入门到精通Redis,大幅提升应用性能与可扩展性。
60 0
|
20天前
|
存储 NoSQL Redis
SpringCloud基础7——Redis分布式缓存,RDB,AOF持久化+主从+哨兵+分片集群
Redis持久化、RDB和AOF方案、Redis主从集群、哨兵、分片集群、散列插槽、自动手动故障转移
SpringCloud基础7——Redis分布式缓存,RDB,AOF持久化+主从+哨兵+分片集群
|
3天前
|
缓存 Java
创建一个可缓存线程池
创建一个可缓存线程池
11 4
|
3天前
|
存储 缓存 NoSQL
解决Redis缓存击穿问题的技术方法
解决Redis缓存击穿问题的技术方法
15 2
|
3天前
|
缓存 NoSQL Redis
解决 Redis 缓存穿透问题的有效方法
解决 Redis 缓存穿透问题的有效方法
13 2
|
1月前
|
缓存 NoSQL 关系型数据库
MySQL与Redis缓存一致性的实现与挑战
在现代软件开发中,MySQL作为关系型数据库管理系统,广泛应用于数据存储;而Redis则以其高性能的内存数据结构存储特性,常被用作缓存层来提升数据访问速度。然而,当MySQL与Redis结合使用时,确保两者之间的数据一致性成为了一个重要且复杂的挑战。本文将从技术角度分享MySQL与Redis缓存一致性的实现方法及其面临的挑战。
64 2
|
2月前
|
Java UED Maven
紧跟技术潮流:手把手教你构建响应式Vaadin应用,让用户体验无缝接轨!
【8月更文挑战第31天】本文从零开始,详细介绍如何使用强大的Java框架Vaadin构建流畅且响应式的Web应用程序。首先,确保安装JDK 1.8+、Maven 3.3.9+及IDE。接着,创建Maven项目并添加Vaadin依赖。然后,通过继承`UI`类创建主界面,并定义自定义主题与样式。利用Vaadin的响应式布局组件,如`HorizontalLayout`和`VerticalLayout`,实现多设备兼容性。
30 0
|
2月前
|
缓存 NoSQL Redis
Entity Framework Core 与 Redis 强强联手!实现高速缓存,提升应用性能超厉害
【8月更文挑战第31天】在现代应用开发中,结合 Entity Framework Core 与 Redis 可显著提升数据访问速度。Entity Framework Core 是一个强大的 ORM 框架,但处理频繁访问的数据时可能遇到性能瓶颈。Redis 作为高性能内存数据库,具备快速读写能力。两者结合利用 Redis 高速缓存,减少直接数据库访问,提高应用响应速度及性能。
39 0
|
2月前
|
缓存 NoSQL Java
惊!Spring Boot遇上Redis,竟开启了一场缓存实战的革命!
【8月更文挑战第29天】在互联网时代,数据的高速读写至关重要。Spring Boot凭借简洁高效的特点广受开发者喜爱,而Redis作为高性能内存数据库,在缓存和消息队列领域表现出色。本文通过电商平台商品推荐系统的实战案例,详细介绍如何在Spring Boot项目中整合Redis,提升系统响应速度和用户体验。
52 0
下一篇
无影云桌面