PHP-CGI 进程 CPU 100% 与 file_get_contents 函数的关系

简介:

有时候,运行 Nginx、PHP-CGI(php-fpm) Web服务的 Linux 服务器,突然系统负载上升,使用 top 命令查看,很多 php-cgi 进程 CPU 使用率接近100%。后来,我通过跟踪发现,这类情况的出现,跟 PHP 的 file_get_contents() 函数有着密切的关系。

大、中型网站中,基于 HTTP 协议的 API 接口调用,是家常便饭。PHP 程序员们喜欢使用简单便捷的 file_get_contents("http://example.com/") 函数,来获取一个 URL 的返回内容,但是,如果 http://example.com/ 这个网站响应缓慢,file_get_contents() 就会一直卡在那儿,不会超时。

我们知道,在 php.ini 中,有一个参数 max_execution_time 可以设置 PHP 脚本的最大执行时间,但是,在 php-cgi(php-fpm) 中,该参数不会起效。真正能够控制 PHP 脚本最大执行时间的是 php-fpm.conf 配置文件中的以下参数: 

  1. The timeout (in seconds) for serving a single request after which the worker process will be terminated  
  2. Should be used when 'max_execution_time' ini option does not stop script execution for some reason  
  3. '0s' means 'off'  
  4. <value name="request_terminate_timeout">0s</value>  
 
默认值为 0 秒,也就是说,PHP 脚本会一直执行下去。这样,当所有的 php-cgi 进程都卡在 file_get_contents() 函数时,这台 Nginx+PHP 的 WebServer 已经无法再处理新的 PHP 请求了,Nginx 将给用户返回“502 Bad Gateway”。修改该参数,设置一个 PHP 脚本最大执行时间是必要的,但是,治标不治本。例如改成 <value name="request_terminate_timeout">30s</value>,如果发生 file_get_contents() 获取网页内容较慢的情况,这就意味着 150 个 php-cgi 进程,每秒钟只能处理 5 个请求,WebServer 同样很难避免“502 Bad Gateway”。

要做到彻底解决,只能让 PHP 程序员们改掉直接使用 file_get_contents("http://example.com/") 的习惯,而是稍微修改一下,加个超时时间,用以下方式来实现 HTTP GET 请求。要是觉得麻烦,可以自行将以下代码封装成一个函数。 

  1. <?php  
  2. $ctx = stream_context_create(array(  
  3.    'http' => array(  
  4.        'timeout' => 1 //设置一个超时时间,单位为秒  
  5.        )  
  6.    )  
  7. );  
  8. file_get_contents("http://example.com/", 0, $ctx);  
  9. ?>  
 
当然,导致 php-cgi 进程 CPU 100% 的原因不只有这一种,那么,怎么确定是 file_get_contents() 函数导致的呢?

首先,使用 top 命令查看 CPU 使用率较高的 php-cgi 进程。

top - 10:34:18 up 724 days, 21:01,  3 users,  load average: 17.86, 11.16, 7.69 
Tasks: 561 total,  15 running, 546 sleeping,   0 stopped,   0 zombie 
Cpu(s):  5.9%us,  4.2%sy,  0.0%ni, 89.4%id,  0.2%wa,  0.0%hi,  0.2%si,  0.0%st 
Mem:   8100996k total,  4320108k used,  3780888k free,   772572k buffers 
Swap:  8193108k total,    50776k used,  8142332k free,   412088k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                               
10747 www       18   0  360m  22m  12m R 100.6 0.3    0:02.60 php-cgi                                                                                                              
10709 www       16   0  359m  28m  17m R 96.8  0.4    0:11.34 php-cgi                                                                                                               
10745 www       18   0  360m  24m  14m R 94.8  0.3    0:39.51 php-cgi                                                                                                               
10707 www       18   0  360m  25m  14m S 77.4  0.3    0:33.48 php-cgi                                                                                                               
10782 www       20   0  360m  26m  15m R 75.5  0.3    0:10.93 php-cgi                                                                                                               
10708 www       25   0  360m  22m  12m R 69.7  0.3    0:45.16 php-cgi                                                                                                               
10683 www       25   0  362m  28m  15m R 54.2  0.4    0:32.65 php-cgi                                                                                                               
10711 www       25   0  360m  25m  15m R 52.2  0.3    0:44.25 php-cgi                                                                                                               
10688 www       25   0  359m  25m  15m R 38.7  0.3    0:10.44 php-cgi                                                                                                               
10719 www       25   0  360m  26m  16m R  7.7  0.3    0:40.59 php-cgi

找其中一个 CPU 100% 的 php-cgi 进程的 PID,用以下命令跟踪一下: 
strace -p 10747

如果屏幕显示: 
select(7, [6], [6], [], {15, 0})        = 1 (out [6], left {15, 0}) 
poll([{fd=6, events=POLLIN}], 1, 0)     = 0 (Timeout) 
select(7, [6], [6], [], {15, 0})        = 1 (out [6], left {15, 0}) 
poll([{fd=6, events=POLLIN}], 1, 0)     = 0 (Timeout) 
select(7, [6], [6], [], {15, 0})        = 1 (out [6], left {15, 0}) 
poll([{fd=6, events=POLLIN}], 1, 0)     = 0 (Timeout) 
select(7, [6], [6], [], {15, 0})        = 1 (out [6], left {15, 0}) 
poll([{fd=6, events=POLLIN}], 1, 0)     = 0 (Timeout) 
select(7, [6], [6], [], {15, 0})        = 1 (out [6], left {15, 0}) 
poll([{fd=6, events=POLLIN}], 1, 0)     = 0 (Timeout) 
select(7, [6], [6], [], {15, 0})        = 1 (out [6], left {15, 0}) 
poll([{fd=6, events=POLLIN}], 1, 0)     = 0 (Timeout) 
select(7, [6], [6], [], {15, 0})        = 1 (out [6], left {15, 0}) 
poll([{fd=6, events=POLLIN}], 1, 0)     = 0 (Timeout) 
select(7, [6], [6], [], {15, 0})        = 1 (out [6], left {15, 0}) 
poll([{fd=6, events=POLLIN}], 1, 0)     = 0 (Timeout) 
select(7, [6], [6], [], {15, 0})        = 1 (out [6], left {15, 0}) 
poll([{fd=6, events=POLLIN}], 1, 0)     = 0 (Timeout) 
select(7, [6], [6], [], {15, 0})        = 1 (out [6], left {15, 0}) 
poll([{fd=6, events=POLLIN}], 1, 0)     = 0 (Timeout)

开启<value name="request_slowlog_timeout">3s</value>记录慢执行日志,会在日志中打印出执行慢的代码行数。php-cgi(php-fpm) 使用了Libevent,而Libevent 在 Linux 2.6 内核以上默认会使用 epoll I/O 模型处理 FastCGI 网络请求,而非 select/poll。在慢日志记录的代码行数中,包含 file_get_contents 以及其他函数,而 file_get_contents 等作为 Client 发起 HTTP 请求的函数使用的是 select/poll 模型,也就是说,只有 file_get_contents 等满足“TCP请求默认不超时、使用select/poll 模型、进程CPU 100%”的网络操作函数,会导致 strace -p 看到的这种情况。

那么,就可以确定是 file_get_contents() 导致的问题了。

本文摘自张晏的博客





本文转自 baiying 51CTO博客,原文链接:http://blog.51cto.com/baiying/962888,如需转载请自行联系原作者
目录
相关文章
|
1月前
|
Java 对象存储 开发者
如何找出Java进程占用CPU高的元凶
本文记录了一次Java进程CPU占用率过高的问题和排查思路。
|
2月前
|
Windows
dllhost.exe进程占用CPU很高怎么解决?
全面解析dllhost.exe进程
119 16
|
2月前
|
PHP
PHP的pcntl多进程用法实例
PHP使用PCNTL系列的函数也能做到多进程处理一个事务。
38 12
|
4月前
|
存储 监控
【Azure Cloud Service】在Azure云服务中收集CPU监控指标和IIS进程的DUMP方法
在使用Cloud Service服务时,发现服务的CPU占用很高,在业务请求并不大的情况下,需要直到到底是什么进程占用了大量的CPU资源,已经如何获取IIS进程(w3wp.exe)的DUMP文件?
|
6月前
|
弹性计算 Linux 区块链
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
205 4
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
|
5月前
|
Linux Python
在Linux中,如何查找系统中占用CPU最高的进程?
在Linux中,如何查找系统中占用CPU最高的进程?
|
5月前
|
Linux
在Linux中,如何查看占用CPU最多的进程?
在Linux中,如何查看占用CPU最多的进程?
|
5月前
|
数据安全/隐私保护 异构计算 Windows
【Azure 环境】 介绍两种常规的方法来监视Window系统的CPU高时的进程信息: Performance Monitor 和 Powershell Get-Counter
【Azure 环境】 介绍两种常规的方法来监视Window系统的CPU高时的进程信息: Performance Monitor 和 Powershell Get-Counter
|
6月前
|
存储 缓存 NoSQL
Redis性能优化问题之优化 Redis fork 耗时严重的问题,如何解决
Redis性能优化问题之优化 Redis fork 耗时严重的问题,如何解决
|
5月前
|
Linux
在Linux中,如何找出占用CPU或内存最多的进程?
在Linux中,如何找出占用CPU或内存最多的进程?