开发者社区> 问答> 正文

云服务器 ECS Linux 系统日志出现 hung_task_timeout_secs 和 blo

云服务器 ECS Linux 系统出现系统没有响应。 在/var/log/message 日志中出现大量的类似如下错误信息:

echo 0 > /proc/sys/kernel/hung_task_timeout_secs disables this message.

blocked for more than 120 seconds


如下图所示:



展开
收起
开发者说 2019-07-19 19:52:45 1128 0
1 条回答
写回答
取消 提交回答
  • 问题现象

    云服务器 ECS Linux 系统出现系统没有响应。 在/var/log/message 日志中出现大量的类似如下错误信息:

    echo 0 > /proc/sys/kernel/hung_task_timeout_secs disables this message.
    blocked for more than 120 seconds
    
    

    如下图所示: image.png

    问题原因

    默认情况下, Linux 会最多使用 40% 的可用内存作为文件系统缓存。当超过这个阈值后,文件系统会把将缓存中的内存全部写入磁盘, 导致后续的 IO 请求都是同步的。

    将缓存写入磁盘时,有一个默认120 秒的超时时间。 出现上面的问题的原因是 IO 子系统的处理速度不够快,不能在 120 秒将缓存中的数据全部写入磁盘。

    IO 系统响应缓慢,导致越来越多的请求堆积,最终系统内存全部被占用,导致系统失去响应。

    处理方法

    根据应用程序情况,对 vm.dirty_ratio,vm.dirty_background_ratio 两个参数进行调优设置。 例如,推荐如下设置:

    # sysctl -w vm.dirty_ratio=10
    # sysctl -w vm.dirty_background_ratio=5
    # sysctl -p
    
    

    如果系统永久生效,修改 /etc/sysctl.conf 文件。加入如下两行:

    #vi /etc/sysctl.conf 
    vm.dirty_background_ratio = 5
    vm.dirty_ratio = 10
    
    

    重启系统生效。

    2019-07-27 00:01:42
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载