20130427遇到的2个问题：503错误与Couchbase集群CPU占用不均衡

一、503错误

今天13:00~13:10左右，出现了503错误。出错原因是当时的并发请求数超出了IIS应用程序池的队列长度（Queue Length），当时用的是IIS的默认设置1000（见下图）。



我们将这里的Queue Length由1000改为2000解决了问题（最大可以设置为65535）。

后来发现可以通过 Performance Monitor 监测 "HTTP Service Request queue" -> "Arrival Rate" 来设定 Queue Length。



比如上图中显示"Arrival Rate"的最大值是400，那么Queue Length最好大于400。

看一下当时的负载均衡中一台Web服务器的CPU监控图：

（红色曲线表示%Processor Time，绿色曲线表示Request Execution Time）


不知当时这台云服务器发生了什么异常情况？看来503错误的根源是云服务器的CPU异常，已向阿里云提交工单了解情况。

2.  Couchbase集群CPU占用不均衡

(Couchbase管理控制台)

（Linux top命令运行结果）

两台Couchbase组建的集群，CPU占用却相差很大，Couchbase版本是2.0.0。

google之后找到 High cpu usage in memcached process，原来是Couchbase 2.0.0的bug，升级至最新版Couchbase 2.0.1可以解决这个问题。

升级操作方法：

1. 在两台Couchbase服务器上下载好安装包：wget http://packages.couchbase.com/releases/2.0.1/couchbase-server-enterprise_x86_64_2.0.1.rpm

2. 进入Coucbase管理控制台，从集群中摘掉1台服务器，具体操作方法见 couchbase-getting-started-upgrade-online

3. 升级Couchbase至2.0.1：rpm -U couchbase-server-enterprise_x86_64_2.0.1.rpm （升级之后最好重启一下couchbase服务：service couchbase restart）

4. 将升级后的Couchbase服务器重新加入集群。

5. 对另一台Couchbase服务器进行同样的升级操作。

升级后，问题解决

博文原文： http://www.cnblogs.com/cmt/archive/2013/04/27/3047376.html