Docker 容器健康检查机制-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

Docker 容器健康检查机制

反向一觉 2017-10-30 17:14:18 2744

在分布式系统中,经常需要利用健康检查机制来检查服务的可用性,防止其他服务调用时出现异常。自 1.12 版本之后,Docker 引入了原生的健康检查实现。本文将介绍 Docker 容器健康检查机制,以及在 Docker Swarm mode下面的新特性。
对于容器而言,最简单的健康检查是进程级的健康检查,即检验进程是否存活。Docker Daemon 会自动监控容器中的 PID1 进程,如果 docker run 命令中指明了 restart policy,可以根据策略自动重启已结束的容器。在很多实际场景下,仅使用进程级健康检查机制还远远不够。比如,容器进程虽然依旧运行却由于应用死锁无法继续响应用户请求,这样的问题是无法通过进程监控发现的。
Kubernetes 提供了 Liveness 与 Readness 探针分别对 Container 及其服务健康状态进行检查。阿里云容器服务也提供了类似的 服务健康检查机制

Docker 原生健康检查能力


自 1.12 版本之后,Docker 引入了原生的健康检查实现,可以在 Dockerfile 中声明应用自身的健康检测配置。HEALTHCHECK 指令声明了健康检测命令,用这个命令来判断容器主进程的服务状态是否正常,从而比较真实的反应容器实际状态。
HEALTHCHECK 指令格式:
  • HEALTHCHECK [选项] CMD <命令>:设置检查容器健康状况的命令。
  • HEALTHCHECK NONE :如果基础镜像有健康检查指令,使用这行可以屏蔽。

注意:在 Dockerfile 中 HEALTHCHECK只可以出现一次,如果写了多个,只有最后一个生效。

使用包含 HEALTHCHECK 指令的 dockerfile 构建出来的镜像,在实例化 Docker 容器的时候,就具备了健康状态检查的功能。启动容器后会自动进行健康检查。
HEALTHCHECK 支持下列选项:
  • --interval=<间隔>:两次健康检查的间隔,默认为 30 秒。
  • --timeout=<间隔>:健康检查命令运行超时时间,如果超过这个时间,本次健康检查就被视为失败,默认 30 秒。
  • --retries=<次数>:当连续失败指定次数后,则将容器状态视为 unhealthy,默认 3 次。
  • --start-period=<间隔>: 应用的启动的初始化时间,在启动过程中的健康检查失效不会计入,默认 0 秒(从 V17.05 引入)。

在 HEALTHCHECK [选项] CMD 后面的命令,格式和 ENTRYPOINT 一样,分为 shell 和 exec 格式。命令的返回值决定了该次健康检查的成功与否:
  • 0:成功
  • 1:失败
  • 2:保留值,不要使用

容器启动之后,初始状态会为 starting (启动中)。Docker Engine 会等待 interval 时间,开始执行健康检查命令,并周期性执行。如果单次检查返回值非 0 或者运行需要比指定 timeout 时间还长,则本次检查被认为失败。如果健康检查连续失败超过了 retries 重试次数,状态就会变为 unhealthy (不健康)。
  • 一旦有一次健康检查成功,Docker 会将容器置回 healthy (健康)状态。
  • 当容器的健康状态发生变化时,Docker Engine 会发出一个 health_status 事件。

假设我们有个镜像是个最简单的 Web 服务,我们希望增加健康检查来判断其 Web 服务是否在正常工作,我们可以用curl 来帮助判断,其 Dockerfile 的 HEALTHCHECK 可以这么写:
  1. [backcolor=transparent]FROM elasticsearch[backcolor=transparent]:[backcolor=transparent]5.5
  2. [backcolor=transparent]HEALTHCHECK [backcolor=transparent]--[backcolor=transparent]interval[backcolor=transparent]=[backcolor=transparent]5s[backcolor=transparent] [backcolor=transparent]--[backcolor=transparent]timeout[backcolor=transparent]=[backcolor=transparent]2s[backcolor=transparent] [backcolor=transparent]--[backcolor=transparent]retries[backcolor=transparent]=[backcolor=transparent]12[backcolor=transparent] \
  3. [backcolor=transparent]  CMD curl [backcolor=transparent]--[backcolor=transparent]silent [backcolor=transparent]--[backcolor=transparent]fail localhost[backcolor=transparent]:[backcolor=transparent]9200[backcolor=transparent]/[backcolor=transparent]_cluster[backcolor=transparent]/[backcolor=transparent]health [backcolor=transparent]||[backcolor=transparent] [backcolor=transparent]exit[backcolor=transparent] [backcolor=transparent]1
  1. [backcolor=transparent]docker build [backcolor=transparent]-[backcolor=transparent]t test[backcolor=transparent]/[backcolor=transparent]elasticsearch[backcolor=transparent]:[backcolor=transparent]5.5[backcolor=transparent] [backcolor=transparent].
  2. [backcolor=transparent]docker run [backcolor=transparent]--[backcolor=transparent]rm [backcolor=transparent]-[backcolor=transparent]d \
  3. [backcolor=transparent]    [backcolor=transparent]--[backcolor=transparent]name[backcolor=transparent]=[backcolor=transparent]elasticsearch \
  4. [backcolor=transparent]    test[backcolor=transparent]/[backcolor=transparent]elasticsearch[backcolor=transparent]:[backcolor=transparent]5.5

我们可以通过 docker ps,发现过了几秒之后,Elasticsearch 容器从 starting 状态进入了 healthy 状态。
  1. [backcolor=transparent]$ docker ps
  2. [backcolor=transparent]CONTAINER ID        IMAGE                    COMMAND                  CREATED             STATUS                            PORTS                NAMES
  3. [backcolor=transparent]c9a6e68d4a7f        test[backcolor=transparent]/[backcolor=transparent]elasticsearch[backcolor=transparent]:[backcolor=transparent]5.5[backcolor=transparent]   [backcolor=transparent]"/docker-entrypoin..."[backcolor=transparent]   [backcolor=transparent]2[backcolor=transparent] seconds ago       [backcolor=transparent]Up[backcolor=transparent] [backcolor=transparent]2[backcolor=transparent] seconds [backcolor=transparent]([backcolor=transparent]health[backcolor=transparent]:[backcolor=transparent] starting[backcolor=transparent])[backcolor=transparent]   [backcolor=transparent]9200[backcolor=transparent]/[backcolor=transparent]tcp[backcolor=transparent],[backcolor=transparent] [backcolor=transparent]9300[backcolor=transparent]/[backcolor=transparent]tcp   elasticsearch
  4. [backcolor=transparent]$ docker ps
  5. [backcolor=transparent]CONTAINER ID        IMAGE                    COMMAND                  CREATED             STATUS                    PORTS                NAMES
  6. [backcolor=transparent]c9a6e68d4a7f        test[backcolor=transparent]/[backcolor=transparent]elasticsearch[backcolor=transparent]:[backcolor=transparent]5.5[backcolor=transparent]   [backcolor=transparent]"/docker-entrypoin..."[backcolor=transparent]   [backcolor=transparent]14[backcolor=transparent] seconds ago      [backcolor=transparent]Up[backcolor=transparent] [backcolor=transparent]13[backcolor=transparent] seconds [backcolor=transparent]([backcolor=transparent]healthy[backcolor=transparent])[backcolor=transparent]   [backcolor=transparent]9200[backcolor=transparent]/[backcolor=transparent]tcp[backcolor=transparent],[backcolor=transparent] [backcolor=transparent]9300[backcolor=transparent]/[backcolor=transparent]tcp   elasticsearch

另外一种方法是在 docker run 命令中,直接指明 healthcheck 相关策略。
  1. [backcolor=transparent]$ docker run [backcolor=transparent]--[backcolor=transparent]rm [backcolor=transparent]-[backcolor=transparent]d \
  2. [backcolor=transparent]    [backcolor=transparent]--[backcolor=transparent]name[backcolor=transparent]=[backcolor=transparent]elasticsearch \
  3. [backcolor=transparent]    [backcolor=transparent]--[backcolor=transparent]health[backcolor=transparent]-[backcolor=transparent]cmd[backcolor=transparent]=[backcolor=transparent]"curl --silent --fail localhost:9200/_cluster/health || exit 1"[backcolor=transparent] \
  4. [backcolor=transparent]    [backcolor=transparent]--[backcolor=transparent]health[backcolor=transparent]-[backcolor=transparent]interval[backcolor=transparent]=[backcolor=transparent]5s[backcolor=transparent] \
  5. [backcolor=transparent]    [backcolor=transparent]--[backcolor=transparent]health[backcolor=transparent]-[backcolor=transparent]retries[backcolor=transparent]=[backcolor=transparent]12[backcolor=transparent] \
  6. [backcolor=transparent]    [backcolor=transparent]--[backcolor=transparent]health[backcolor=transparent]-[backcolor=transparent]timeout[backcolor=transparent]=[backcolor=transparent]2s[backcolor=transparent] \
  7. [backcolor=transparent]    elasticsearch[backcolor=transparent]:[backcolor=transparent]5.5

为了帮助排障,健康检查命令的输出(包括 stdout 以及 stderr)都会被存储于健康状态里,可以用 docker inspect 来查看。我们可以通过如下命令,来获取过去5个容器的健康检查结果。
  1. [backcolor=transparent]docker inspect [backcolor=transparent]--[backcolor=transparent]format[backcolor=transparent]=[backcolor=transparent]'{{json .State.Health}}'[backcolor=transparent] elasticsearch

  1. [backcolor=transparent]docker inspect elasticsearch [backcolor=transparent]|[backcolor=transparent] jq [backcolor=transparent]".[].State.Health"

示例结果如下:
  1. [backcolor=transparent]{
  2. [backcolor=transparent]  [backcolor=transparent]"Status"[backcolor=transparent]:[backcolor=transparent] [backcolor=transparent]"healthy"[backcolor=transparent],
  3. [backcolor=transparent]  [backcolor=transparent]"FailingStreak"[backcolor=transparent]:[backcolor=transparent] [backcolor=transparent]0[backcolor=transparent],
  4. [backcolor=transparent]  [backcolor=transparent]"Log"[backcolor=transparent]:[backcolor=transparent] [backcolor=transparent][
  5. [backcolor=transparent]    [backcolor=transparent]{
  6. [backcolor=transparent]      [backcolor=transparent]"Start"[backcolor=transparent]:[backcolor=transparent] [backcolor=transparent]"2017-08-19T09:12:53.393598805Z"[backcolor=transparent],
  7. [backcolor=transparent]      [backcolor=transparent]"End"[backcolor=transparent]:[backcolor=transparent] [backcolor=transparent]"2017-08-19T09:12:53.452931792Z"[backcolor=transparent],
  8. [backcolor=transparent]      [backcolor=transparent]"ExitCode"[backcolor=transparent]:[backcolor=transparent] [backcolor=transparent]0[backcolor=transparent],
  9. [backcolor=transparent]      [backcolor=transparent]"Output"[backcolor=transparent]:[backcolor=transparent] [backcolor=transparent]"..."
  10. [backcolor=transparent]    [backcolor=transparent]},
  11. [backcolor=transparent]    [backcolor=transparent]...
  12. [backcolor=transparent]}

由于应用的开发者会更加了解应用的 SLA,一般建议在 Dockerfile 中声明相应的健康检查策略,这样可以方便镜像的使用。对于应用的部署和运维人员,可以通过命令行参数和 REST API 针对部署场景对健康检查策略按需进行调整。
Docker社区提供了一些包含健康检查的实例镜像,我们可以在如下项目中获取 https://github.com/docker-library/healthchec
注意:
  • 阿里云容器服务同时支持 Docker 原生健康检测机制和阿里云的扩展检查机制。
  • 目前 Kubernetes 还不提供对 Docker 原生健康检查机制的支持。


Docker Swarm mode 中的服务健康检查能力


在 Docker 1.13之后,在 Docker Swarm mode 中提供了对健康检查策略的支持。
可以在 docker service create 命令中指明健康检查策略:
  1. [backcolor=transparent]$ docker service create [backcolor=transparent]-[backcolor=transparent]d \
  2. [backcolor=transparent]    [backcolor=transparent]--[backcolor=transparent]name[backcolor=transparent]=[backcolor=transparent]elasticsearch \
  3. [backcolor=transparent]    [backcolor=transparent]--[backcolor=transparent]health[backcolor=transparent]-[backcolor=transparent]cmd[backcolor=transparent]=[backcolor=transparent]"curl --silent --fail localhost:9200/_cluster/health || exit 1"[backcolor=transparent] \
  4. [backcolor=transparent]    [backcolor=transparent]--[backcolor=transparent]health[backcolor=transparent]-[backcolor=transparent]interval[backcolor=transparent]=[backcolor=transparent]5s[backcolor=transparent] \
  5. [backcolor=transparent]    [backcolor=transparent]--[backcolor=transparent]health[backcolor=transparent]-[backcolor=transparent]retries[backcolor=transparent]=[backcolor=transparent]12[backcolor=transparent] \
  6. [backcolor=transparent]    [backcolor=transparent]--[backcolor=transparent]health[backcolor=transparent]-[backcolor=transparent]timeout[backcolor=transparent]=[backcolor=transparent]2s[backcolor=transparent] \
  7. [backcolor=transparent]    elasticsearch

在 swarm mode 模式下,Swarm manager 会监控服务 task 的健康状态,如果容器进入 unhealthy 状态,它会停止容器并且重新启动一个新容器来取代它。这个过程中会自动更新服务的 load balancer (routing mesh) 后端或者 DNS记录,可以保障服务的可用性。
在 1.13 版本之后,在服务更新阶段也增加了对健康检查的支持,这样在新容器完全启动成功并进入健康状态之前,load balancer/DNS 解析不会将请求发送给它。这样可以保证应用在更新过程中请求不会中断。
下面是在服务更新过程的时序图。

在企业生产环境中,合理的健康检查设置可以保证应用的可用性。现在很多应用框架已经内置了监控检查能力,比如 Spring Boot Actuator。配合 Docker 内置的健康检测机制,可以非常简洁实现应用可用性监控,自动故障处理,和零宕机更新。
docker容器 docker检查 docker健康检查 容器健康检查 docker容器健康检查
分享到
取消 提交回答
全部回答(0)
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

相似问题
最新问题