【Azure Redis 缓存】Azure Redis 异常 - 因线程池Busy而产生的Timeout异常问题

简介: 【Azure Redis 缓存】Azure Redis 异常 - 因线程池Busy而产生的Timeout异常问题

问题描述

StackExchange.Redis在使用线程池后,偶尔会出现Timeout awaiting response 或者 No connection is available to service this operation的异常消息,完整的错误异常如:

StackExchange.Redis.RedisTimeoutException: Timeout awaiting response (outbound=0KiB, inbound=0KiB, 20016ms elapsed, timeout is 20000ms), command=GET, next: GET VMD:LVSHFXXXXXXXX, inst: 0, qu: 10, qs: 1167, aw: True, bw: Inactive, rs: ReadAsync, ws: Writing, in: 0, serverEndpoint: Unspecified/xxxxredis.redis.cache.chinacloudapi.cn:6380, mgr: 9 of 10 available, clientName: RD00xxxxxxxx, IOCP: (Busy=3,Free=997,Min=200,Max=1000), WORKER: (Busy=367,Free=1680,Min=300,Max=2047), v: 2.0.601.3402 (Please take a look at this article for some common client-side issues that can cause timeouts: 

StackExchange.Redis.RedisConnectionException: No connection is available to service this operation: SET VMD:LVSHFXXXXXXXX; IOCP: (Busy=4,Free=996,Min=200,Max=1000), WORKER: (Busy=344,Free=1703,Min=300,Max=2047), Local-CPU: n/a

Timeout performing GET orderfortjw, inst: 5, mgr: Inactive, err: never, queue: 10, qu: 0, qs: 15, qc: 0, wr: 0, wq: 0, in: 1826, ar: 0, clientName: RD00155D45335D, serverEndpoint: Unspecified/order-api.redis.cache.chinacloudapi.cn:6380, keyHashSlot: 545, IOCP: (Busy=0,Free=1000,Min=100,Max=1000), WORKER: (Busy=35,Free=23764,Min=100,Max=23764)

 StackExchange.Redis.RedisTimeoutException: Timeout performing GET orderforvb1dm6g0m, inst: 6, mgr: Inactive, err: never, queue: 913, qu: 0, qs: 913, qc: 0, wr: 0, wq: 0, in: 65536, ar: 0, clientName: RD00155D45352D, serverEndpoint: Unspecified/order-api.redis.cache.chinacloudapi.cn:6380, keyHashSlot: 1255, IOCP: (Busy=0,Free=1000,Min=2,Max=1000), WORKER: (Busy=3,Free=23764,Min=2,Max=23764)

 

问题原因

在异常消息中,最重要的信息为IOCP, WORKER两部分, 这是因为CLR(Common Language Runtime,公共语言运行库)有两种类型的线程, Worker" 和 "I/O Completion Port" (IOCP) 线程。

  • WORKER: 对于诸如处理 Task.Run(…) 或 ThreadPool.QueueUserWorkItem(…) 方法这类事务,请使用WORKER线程。 需要在后台线程上进行工作时,CLR 中的各种组件也会使用这些线程。
  • IOCP: 进行异步 IO(例如从网络进行读取)时,使用 IOCP 线程

一旦Busy线程数达到Min线程数,ThreadPool 便会将插入新线程的速率限制为每 500 毫秒一个线程。如果Busy的工作多于配置的Min设置,则在处理某些工作时会出现一定的延迟,因为 ThreadPool 会等待发生以下两种情况之一。

  • 一个现有线程释放,以便处理工作。
  • 在 500 毫秒内没有任何现有线程释放,因此会创建一个新线程。

基本上,这意味着Busy线程数大于Min线程数,在应用程序处理网络流量之前可能需要付出 500 毫秒延迟。 如果 IOCP 或WORKER线程受到限制,则 StackExchange.Redis 可能会超时等异常。

  1. StackExchange.Redis.RedisTimeoutException: Timeout awaiting response ... IOCP: (Busy=3,Free=997,Min=200,Max=1000), WORKER: (Busy=367,Free=1680,Min=300,Max=2047)
  2. StackExchange.Redis.RedisConnectionException ... IOCP: (Busy=4,Free=996,Min=200,Max=1000), WORKER: (Busy=344,Free=1703,Min=300,Max=2047)

如以上的错误消息中,IOCP的线程数工作正常,没有超过Min值。但是Worker的线程数Busy状态分别为367,344都大于最小值(Min)300,所以出现RedisTimeoutException或RedisConnectionException异常。

 

解决办法

建议将 IOCP 和Worker 线程的最小配置值设置为大于默认值。此设置会影响复杂应用程序其他部分的性能,因此每个应用需要按照其特定需求来微调此设置。开始时设置为 200 或 300 会比较好,随后可进行测试并根据需要进行调整。

在.NET中的设置示例如下:

private readonly int minThreads = 200;
void Application_Start(object sender, EventArgs e)
{
    // Code that runs on application startup
    AreaRegistration.RegisterAllAreas();
    RouteConfig.RegisterRoutes(RouteTable.Routes);
    BundleConfig.RegisterBundles(BundleTable.Bundles);
    ThreadPool.SetMinThreads(minThreads, minThreads);
}

 

参考资料

Redis 有关线程池增长的重要详细信息: https://docs.microsoft.com/zh-cn/azure/azure-cache-for-redis/cache-management-faq#important-details-about-threadpool-growth

 

相关文章
|
缓存 NoSQL 网络协议
【Azure Redis 缓存】Lettuce 连接到Azure Redis服务,出现15分钟Timeout问题
【Azure Redis 缓存】Lettuce 连接到Azure Redis服务,出现15分钟Timeout问题
435 0
【Azure Redis 缓存】Lettuce 连接到Azure Redis服务,出现15分钟Timeout问题
|
缓存 NoSQL Redis
【Azure Redis 缓存】使用StackExchange.Redis,偶发ERROR - Timeout performing HSET (15000ms)
【Azure Redis 缓存】使用StackExchange.Redis,偶发ERROR - Timeout performing HSET (15000ms)
345 0
|
监控 NoSQL 网络协议
【Azure Redis】部署在AKS中的应用,连接Redis高频率出现timeout问题
查看Redis状态,没有任何异常,服务没有更新,Service Load, CPU, Memory, Connect等指标均正常。在排除Redis端问题后,转向了AKS中。 开始调查AKS的网络状态。最终发现每次Redis客户端出现超时问题时,几乎都对应了AKS NAT Gateway的更新事件,而Redis服务端没有任何异常。因此,超时问题很可能是由于NAT Gateway更新事件导致TCP连接被重置。
530 7
|
NoSQL 安全 网络安全
【Azure Redis】PHPRedis遇见SSL Connection Timeout问题
【Azure Redis】PHPRedis遇见SSL Connection Timeout问题
346 1
【Azure Redis】PHPRedis遇见SSL Connection Timeout问题
|
缓存 Java
创建一个可缓存线程池
创建一个可缓存线程池
219 4
|
缓存 NoSQL 网络协议
【Azure Redis 缓存】Redisson 连接 Azure Redis出现间歇性 java.net.UnknownHostException 异常
【Azure Redis 缓存】Redisson 连接 Azure Redis出现间歇性 java.net.UnknownHostException 异常
884 1
|
NoSQL 网络协议 Linux
【Azure Redis】Redis客户端出现15分钟的超时异常
【Azure Redis】Redis客户端出现15分钟的超时异常
422 0
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
缓存 NoSQL Java
Redis+Caffeine构建高性能二级缓存
大家好,我是摘星。今天为大家带来的是Redis+Caffeine构建高性能二级缓存,废话不多说直接开始~
2021 0
|
缓存 负载均衡 监控
135_负载均衡:Redis缓存 - 提高缓存命中率的配置与最佳实践
在现代大型语言模型(LLM)部署架构中,缓存系统扮演着至关重要的角色。随着LLM应用规模的不断扩大和用户需求的持续增长,如何构建高效、可靠的缓存架构成为系统性能优化的核心挑战。Redis作为业界领先的内存数据库,因其高性能、丰富的数据结构和灵活的配置选项,已成为LLM部署中首选的缓存解决方案。
1173 25

热门文章

最新文章