使用 Elasticsearch 和 cAdvisor 监控 Docker 容器

如果你正在运行 Swarm 模式的集群，或者只运行单台 Docker，你都会有下面的疑问：

我如何才能监控到它们都在干些什么？

这个问题的答案是“很不容易”。

你需要监控下面的参数：

1. 容器的数量和状态。
2. 一台容器是否已经移到另一个节点了，如果是，那是在什么时候，移动到哪个节点？
3. 给定节点上运行着的容器数量。
4. 一段时间内的通信峰值。
5. 孤儿卷和网络（LCTT 译注：孤儿卷就是当你删除容器时忘记删除它的卷，这个卷就不会再被使用，但会一直占用资源）。
6. 可用磁盘空间、可用 inode 数。
7. 容器数量与连接在 docker0 和 docker_gwbridge 上的虚拟网卡数量不一致（LCTT 译注：当 docker 启动时，它会在宿主机器上创建一个名为 docker0 的虚拟网络接口）。
8. 开启和关闭 Swarm 节点。
9. 收集并集中处理日志。

本文的目标是介绍 Elasticsearch + Kibana + cAdvisor 的用法，使用它们来收集 Docker 容器的参数，分析数据并产生可视化报表。

阅读本文后你可以发现有一个监控仪表盘能够部分解决上述列出的问题。但如果只是使用 cAdvisor，有些参数就无法显示出来，比如 Swarm 模式的节点。

如果你有一些 cAdvisor 或其他工具无法解决的特殊需求，我建议你开发自己的数据收集器和数据处理器（比如Beats），请注意我不会演示如何使用 Elasticsearch 来集中收集 Docker 容器的日志。

“你要如何才能监控到 Swarm 模式集群里面发生了什么事情？要做到这点很不容易。” —— @fntlnz

我们为什么要监控容器？

想象一下这个经典场景：你在管理一台或多台虚拟机，你把 tmux 工具用得很溜，用各种 session 事先设定好了所有基础的东西，包括监控。然后生产环境出问题了，你使用 top、htop、iotop、jnettop 各种 top 来排查，然后你准备好修复故障。

现在重新想象一下你有 3 个节点，包含 50 台容器，你需要在一个地方查看整洁的历史数据，这样你知道问题出在哪个地方，而不是把你的生命浪费在那些字符界面来赌你可以找到问题点。

什么是 Elastic Stack ？

Elastic Stack 就一个工具集，包括以下工具：

• Elasticsearch
• Kibana
• Logstash
• Beats

我们会使用其中一部分工具，比如使用 Elasticsearch 来分析基于 JSON 格式的文本，以及使用 Kibana 来可视化数据并产生报表。

另一个重要的工具是 Beats，但在本文中我们还是把精力放在容器上，官方的 Beats 工具不支持 Docker，所以我们选择原生兼容 Elasticsearch 的 cAdvisor。

cAdvisor 工具负责收集、整合正在运行的容器数据，并导出报表。在本文中，这些报表被到入到 Elasticsearch 中。

cAdvisor 有两个比较酷的特性：

• 它不只局限于 Docker 容器。
• 它有自己的 Web 服务器，可以简单地显示当前节点的可视化报表。

设置测试集群，或搭建自己的基础架构

和我以前的文章一样，我习惯提供一个简单的脚本，让读者不用花很多时间就能部署好和我一样的测试环境。你可以使用以下（非生产环境使用的）脚本来搭建一个 Swarm 模式的集群，其中一个容器运行着 Elasticsearch。

如果你有充足的时间和经验，你可以搭建自己的基础架构Bring Your Own Infrastructure，BYOI。

如果要继续阅读本文，你需要：

• 运行 Docker 进程的一个或多个节点（docker 版本号大于等于 1.12）。
• 至少有一个独立运行的 Elasticsearch 节点（版本号 2.4.X）。

重申一下，此 Elasticsearch 集群环境不能放在生产环境中使用。生产环境也不推荐使用单节点集群，所以如果你计划安装一个生产环境，请参考 Elastic 指南。

对喜欢尝鲜的用户的友情提示

我就是一个喜欢尝鲜的人（当然我也已经在生产环境中使用了最新的 alpha 版本），但是在本文中，我不会使用最新的 Elasticsearch 5.0.0 alpha 版本，我还不是很清楚这个版本的功能，所以我不想成为那个引导你们出错的关键。

所以本文中涉及的 Elasticsearch 版本为最新稳定版 2.4.0。

测试集群部署脚本

前面已经说过，我提供这个脚本给你们，让你们不必费神去部署 Swarm 集群和 Elasticsearch，当然你也可以跳过这一步，用你自己的 Swarm 模式引擎和你自己的 Elasticserch 节点。

执行这段脚本之前，你需要：

• Docker Machine – 最终版：在 DigitalOcean 中提供 Docker 引擎。
• DigitalOcean API Token: 让 docker 机器按照你的意思来启动节点。

创建集群的脚本

现在万事俱备，你可以把下面的代码拷到 create-cluster.sh 文件中：

1. #!/usr/bin/env bash
2. #
3. # Create a Swarm Mode cluster with a single master and a configurable number of workers
5. workers=${WORKERS:-"worker1 worker2"}
7. #######################################
8. # Creates a machine on Digital Ocean
9. # Globals:
10. # DO_ACCESS_TOKEN The token needed to access DigitalOcean's API
11. # Arguments:
12. # $1 the actual name to give to the machine
13. #######################################
14. create_machine() {
15. docker-machine create \
16. -d digitalocean \
17. --digitalocean-access-token=$DO_ACCESS_TOKEN \
18. --digitalocean-size 2gb \
19. $1
20. }
22. #######################################
23. # Executes a command on the specified machine
24. # Arguments:
25. # $1 The machine on which to run the command
26. # $2..$n The command to execute on that machine
27. #######################################
28. machine_do() {
29. docker-machine ssh $@
30. }
32. main() {
34. if [ -z "$DO_ACCESS_TOKEN" ]; then
35. echo "Please export a DigitalOcean Access token: https://cloud.digitalocean.com/settings/api/tokens/new"
36. echo "export DO_ACCESS_TOKEN=<yourtokenhere>"
37. exit 1
38. fi
40. if [ -z "$WORKERS" ]; then
41. echo "You haven't provided your workers by setting the \$WORKERS environment variable, using the default ones: $workers"
42. fi
44. # Create the first and only master
45. echo "Creating the master"
47. create_machine master1
49. master_ip=$(docker-machine ip master1)
51. # Initialize the swarm mode on it
52. echo "Initializing the swarm mode"
53. machine_do master1 docker swarm init --advertise-addr $master_ip
55. # Obtain the token to allow workers to join
56. worker_tkn=$(machine_do master1 docker swarm join-token -q worker)
57. echo "Worker token: ${worker_tkn}"
59. # Create and join the workers
60. for worker in $workers; do
61. echo "Creating worker ${worker}"
62. create_machine $worker
63. machine_do $worker docker swarm join --token $worker_tkn $master_ip:2377
64. done
65. }
67. main $@

赋予它可执行权限：

1. chmod +x create-cluster.sh

创建集群

如文件名所示，我们可以用它来创建集群。默认情况下这个脚本会创建一个 master 和两个 worker，如果你想修改 worker 个数，可以设置环境变量 WORKERS。

现在就来创建集群吧。

1. ./create-cluster.sh

你可以出去喝杯咖啡，因为这需要花点时间。

最后集群部署好了。

现在为了验证 Swarm 模式集群已经正常运行，我们可以通过 ssh 登录进 master：

1. docker-machine ssh master1

然后列出集群的节点：

1. docker node ls

1. ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS
2. 26fi3wiqr8lsidkjy69k031w2 * master1 Ready Active Leader
3. dyluxpq8sztj7kmwlzs51u4id worker2 Ready Active
4. epglndegvixag0jztarn2lte8 worker1 Ready Active

安装 Elasticsearch 和 Kibana

注意，从现在开始所有的命令都运行在主节点 master1 上。

在生产环境中，你可能会把 Elasticsearch 和 Kibana 安装在一个单独的、大小合适的实例集合中。但是在我们的实验中，我们还是把它们和 Swarm 模式集群安装在一起。

为了将 Elasticsearch 和 cAdvisor 连通，我们需要创建一个自定义的网络，因为我们使用了集群，并且容器可能会分布在不同的节点上，我们需要使用 overlay 网络（LCTT 译注：overlay 网络是指在不改变现有网络基础设施的前提下，通过某种约定通信协议，把二层报文封装在 IP 报文之上的新的数据格式，是目前最主流的容器跨节点数据传输和路由方案）。

也许你会问，“为什么还要网络？我们不是可以用 link 吗？” 请考虑一下，自从引入用户定义网络后，link 机制就已经过时了。

以下内容摘自 Docker 文档：

在 Docker network 特性出来以前，你可以使用 Docker link 特性实现容器互相发现、安全通信。而在 network 特性出来以后，你还可以使用 link，但是当容器处于默认桥接网络或用户自定义网络时，它们的表现是不一样的。

现在创建 overlay 网络，名称为 monitoring：

1. docker network create monitoring -d overlay

Elasticsearch 容器

1. docker service create --network=monitoring \
2. --mount type=volume,target=/usr/share/elasticsearch/data \
3. --constraint node.hostname==worker1 \
4. --name elasticsearch elasticsearch:2.4.0

注意 Elasticsearch 容器被限定在 worker1 节点，这是因为它运行时需要依赖 worker1 节点上挂载的卷。

Kibana 容器

1. docker service create --network=monitoring --name kibana -e ELASTICSEARCH_URL="http://elasticsearch:9200" -p 5601:5601 kibana:4.6.0

如你所见，我们启动这两个容器时，都让它们加入 monitoring 网络，这样一来它们可以通过名称（如 Kibana）被相同网络的其他服务访问。

现在，通过 routing mesh 机制，我们可以使用浏览器访问服务器的 IP 地址来查看 Kibana 报表界面。

获取 master1 实例的公共 IP 地址：

1. docker-machine ip master1

打开浏览器输入地址：http://[master1 的 ip 地址]:5601/status

所有项目都应该是绿色：

让我们接下来开始收集数据！

收集容器的运行数据

收集数据之前，我们需要创建一个服务，以全局模式运行 cAdvisor，为每个有效节点设置一个定时任务。

这个服务与 Elasticsearch 处于相同的网络，以便于 cAdvisor 可以推送数据给 Elasticsearch。

1. docker service create --network=monitoring --mode global --name cadvisor \
2. --mount type=bind,source=/,target=/rootfs,readonly=true \
3. --mount type=bind,source=/var/run,target=/var/run,readonly=false \
4. --mount type=bind,source=/sys,target=/sys,readonly=true \
5. --mount type=bind,source=/var/lib/docker/,target=/var/lib/docker,readonly=true \
6. google/cadvisor:latest \
7. -storage_driver=elasticsearch \
8. -storage_driver_es_host="http://elasticsearch:9200"

注意：如果你想配置 cAdvisor 选项，参考这里。

现在 cAdvisor 在发送数据给 Elasticsearch，我们通过定义一个索引模型来检索 Kibana 中的数据。有两种方式可以做到这一点：通过 Kibana 或者通过 API。在这里我们使用 API 方式实现。

我们需要在一个连接到 monitoring 网络的正在运行的容器中运行索引创建命令，你可以在 cAdvisor 容器中拿到 shell，不幸的是 Swarm 模式在开启服务时会在容器名称后面附加一个唯一的 ID 号，所以你需要手动指定 cAdvisor 容器的名称。

拿到 shell：

1. docker exec -ti <cadvisor-container-name> sh

创建索引：

1. curl -XPUT http://elasticsearch:9200/.kibana/index-pattern/cadvisor -d '{"title" : "cadvisor*", "timeFieldName": "container_stats.timestamp"}'

如果你够懒，可以只执行下面这一句：

1. docker exec $(docker ps | grep cadvisor | awk '{print $1}' | head -1) curl -XPUT http://elasticsearch:9200/.kibana/index-pattern/cadvisor -d '{"title" : "cadvisor*", "timeFieldName": "container_stats.timestamp"}'

把数据汇总成报表

你现在可以使用 Kibana 来创建一份美观的报表了。但是不要着急，我为你们建了一份报表和一些图形界面来方便你们入门。

访问 Kibana 界面 => Setting => Objects => Import，然后选择包含以下内容的 JSON 文件，就可以导入我的配置信息了：

1. [
2. {
3. "_id": "cAdvisor",
4. "_type": "dashboard",
5. "_source": {
6. "title": "cAdvisor",
7. "hits": 0,
8. "description": "",
9. "panelsJSON": "[{\"id\":\"Filesystem-usage\",\"type\":\"visualization\",\"panelIndex\":1,\"size_x\":6,\"size_y\":3,\"col\":1,\"row\":1},{\"id\":\"Memory-[Node-equal->Container]\",\"type\":\"visualization\",\"panelIndex\":2,\"size_x\":6,\"size_y\":4,\"col\":7,\"row\":4},{\"id\":\"memory-usage-by-machine\",\"type\":\"visualization\",\"panelIndex\":3,\"size_x\":6,\"size_y\":6,\"col\":1,\"row\":4},{\"id\":\"CPU-Total-Usage\",\"type\":\"visualization\",\"panelIndex\":4,\"size_x\":6,\"size_y\":5,\"col\":7,\"row\":8},{\"id\":\"Network-RX-TX\",\"type\":\"visualization\",\"panelIndex\":5,\"size_x\":6,\"size_y\":3,\"col\":7,\"row\":1}]",
10. "optionsJSON": "{\"darkTheme\":false}",
11. "uiStateJSON": "{}",
12. "version": 1,
13. "timeRestore": false,
14. "kibanaSavedObjectMeta": {
15. "searchSourceJSON": "{\"filter\":[{\"query\":{\"query_string\":{\"query\":\"*\",\"analyze_wildcard\":true}}}]}"
16. }
17. }
18. },
19. {
20. "_id": "Network",
21. "_type": "search",
22. "_source": {
23. "title": "Network",
24. "description": "",
25. "hits": 0,
26. "columns": [
27. "machine_name",
28. "container_Name",
29. "container_stats.network.name",
30. "container_stats.network.interfaces",
31. "container_stats.network.rx_bytes",
32. "container_stats.network.rx_packets",
33. "container_stats.network.rx_dropped",
34. "container_stats.network.rx_errors",
35. "container_stats.network.tx_packets",
36. "container_stats.network.tx_bytes",
37. "container_stats.network.tx_dropped",
38. "container_stats.network.tx_errors"
39. ],
40. "sort": [
41. "container_stats.timestamp",
42. "desc"
43. ],
44. "version": 1,
45. "kibanaSavedObjectMeta": {
46. "searchSourceJSON": "{\"index\":\"cadvisor*\",\"query\":{\"query_string\":{\"analyze_wildcard\":true,\"query\":\"*\"}},\"highlight\":{\"pre_tags\":[\"@kibana-highlighted-field@\"],\"post_tags\":[\"@/kibana-highlighted-field@\"],\"fields\":{\"*\":{}},\"fragment_size\":2147483647},\"filter\":[]}"
47. }
48. }
49. },
50. {
51. "_id": "Filesystem-usage",
52. "_type": "visualization",
53. "_source": {
54. "title": "Filesystem usage",
55. "visState": "{\"title\":\"Filesystem usage\",\"type\":\"histogram\",\"params\":{\"addLegend\":true,\"addTimeMarker\":false,\"addTooltip\":true,\"defaultYExtents\":false,\"mode\":\"stacked\",\"scale\":\"linear\",\"setYExtents\":false,\"shareYAxis\":true,\"times\":[],\"yAxis\":{}},\"aggs\":[{\"id\":\"1\",\"type\":\"avg\",\"schema\":\"metric\",\"params\":{\"field\":\"container_stats.filesystem.usage\",\"customLabel\":\"USED\"}},{\"id\":\"2\",\"type\":\"terms\",\"schema\":\"split\",\"params\":{\"field\":\"machine_name\",\"size\":5,\"order\":\"desc\",\"orderBy\":\"1\",\"row\":false}},{\"id\":\"3\",\"type\":\"avg\",\"schema\":\"metric\",\"params\":{\"field\":\"container_stats.filesystem.capacity\",\"customLabel\":\"AVAIL\"}},{\"id\":\"4\",\"type\":\"terms\",\"schema\":\"segment\",\"params\":{\"field\":\"container_stats.filesystem.device\",\"size\":5,\"order\":\"desc\",\"orderBy\":\"1\"}}],\"listeners\":{}}",
56. "uiStateJSON": "{\"vis\":{\"colors\":{\"Average container_stats.filesystem.available\":\"#E24D42\",\"Average container_stats.filesystem.base_usage\":\"#890F02\",\"Average container_stats.filesystem.capacity\":\"#3F6833\",\"Average container_stats.filesystem.usage\":\"#E24D42\",\"USED\":\"#BF1B00\",\"AVAIL\":\"#508642\"}}}",
57. "description": "",
58. "version": 1,
59. "kibanaSavedObjectMeta": {
60. "searchSourceJSON": "{\"index\":\"cadvisor*\",\"query\":{\"query_string\":{\"analyze_wildcard\":true,\"query\":\"*\"}},\"filter\":[]}"
61. }
62. }
63. },
64. {
65. "_id": "CPU-Total-Usage",
66. "_type": "visualization",
67. "_source": {
68. "title": "CPU Total Usage",
69. "visState": "{\"title\":\"CPU Total Usage\",\"type\":\"area\",\"params\":{\"shareYAxis\":true,\"addTooltip\":true,\"addLegend\":true,\"smoothLines\":false,\"scale\":\"linear\",\"interpolate\":\"linear\",\"mode\":\"stacked\",\"times\":[],\"addTimeMarker\":false,\"defaultYExtents\":false,\"setYExtents\":false,\"yAxis\":{}},\"aggs\":[{\"id\":\"1\",\"type\":\"avg\",\"schema\":\"metric\",\"params\":{\"field\":\"container_stats.cpu.usage.total\"}},{\"id\":\"2\",\"type\":\"date_histogram\",\"schema\":\"segment\",\"params\":{\"field\":\"container_stats.timestamp\",\"interval\":\"auto\",\"customInterval\":\"2h\",\"min_doc_count\":1,\"extended_bounds\":{}}},{\"id\":\"3\",\"type\":\"terms\",\"schema\":\"group\",\"params\":{\"field\":\"container_Name\",\"size\":5,\"order\":\"desc\",\"orderBy\":\"1\"}},{\"id\":\"4\",\"type\":\"terms\",\"schema\":\"split\",\"params\":{\"field\":\"machine_name\",\"size\":5,\"order\":\"desc\",\"orderBy\":\"1\",\"row\":true}}],\"listeners\":{}}",
70. "uiStateJSON": "{}",
71. "description": "",
72. "version": 1,
73. "kibanaSavedObjectMeta": {
74. "searchSourceJSON": "{\"index\":\"cadvisor*\",\"query\":{\"query_string\":{\"query\":\"*\",\"analyze_wildcard\":true}},\"filter\":[]}"
75. }
76. }
77. },
78. {
79. "_id": "memory-usage-by-machine",
80. "_type": "visualization",
81. "_source": {
82. "title": "Memory [Node]",
83. "visState": "{\"title\":\"Memory [Node]\",\"type\":\"area\",\"params\":{\"shareYAxis\":true,\"addTooltip\":true,\"addLegend\":true,\"smoothLines\":false,\"scale\":\"linear\",\"interpolate\":\"linear\",\"mode\":\"stacked\",\"times\":[],\"addTimeMarker\":false,\"defaultYExtents\":false,\"setYExtents\":false,\"yAxis\":{}},\"aggs\":[{\"id\":\"1\",\"type\":\"avg\",\"schema\":\"metric\",\"params\":{\"field\":\"container_stats.memory.usage\"}},{\"id\":\"2\",\"type\":\"date_histogram\",\"schema\":\"segment\",\"params\":{\"field\":\"container_stats.timestamp\",\"interval\":\"auto\",\"customInterval\":\"2h\",\"min_doc_count\":1,\"extended_bounds\":{}}},{\"id\":\"3\",\"type\":\"terms\",\"schema\":\"group\",\"params\":{\"field\":\"machine_name\",\"size\":5,\"order\":\"desc\",\"orderBy\":\"1\"}}],\"listeners\":{}}",
84. "uiStateJSON": "{}",
85. "description": "",
86. "version": 1,
87. "kibanaSavedObjectMeta": {
88. "searchSourceJSON": "{\"index\":\"cadvisor*\",\"query\":{\"query_string\":{\"query\":\"*\",\"analyze_wildcard\":true}},\"filter\":[]}"
89. }
90. }
91. },
92. {
93. "_id": "Network-RX-TX",
94. "_type": "visualization",
95. "_source": {
96. "title": "Network RX TX",
97. "visState": "{\"title\":\"Network RX TX\",\"type\":\"histogram\",\"params\":{\"addLegend\":true,\"addTimeMarker\":true,\"addTooltip\":true,\"defaultYExtents\":false,\"mode\":\"stacked\",\"scale\":\"linear\",\"setYExtents\":false,\"shareYAxis\":true,\"times\":[],\"yAxis\":{}},\"aggs\":[{\"id\":\"1\",\"type\":\"avg\",\"schema\":\"metric\",\"params\":{\"field\":\"container_stats.network.rx_bytes\",\"customLabel\":\"RX\"}},{\"id\":\"2\",\"type\":\"date_histogram\",\"schema\":\"segment\",\"params\":{\"field\":\"container_stats.timestamp\",\"interval\":\"s\",\"customInterval\":\"2h\",\"min_doc_count\":1,\"extended_bounds\":{}}},{\"id\":\"3\",\"type\":\"avg\",\"schema\":\"metric\",\"params\":{\"field\":\"container_stats.network.tx_bytes\",\"customLabel\":\"TX\"}}],\"listeners\":{}}",
98. "uiStateJSON": "{\"vis\":{\"colors\":{\"RX\":\"#EAB839\",\"TX\":\"#BF1B00\"}}}",
99. "description": "",
100. "savedSearchId": "Network",
101. "version": 1,
102. "kibanaSavedObjectMeta": {
103. "searchSourceJSON": "{\"filter\":[]}"
104. }
105. }
106. },
107. {
108. "_id": "Memory-[Node-equal->Container]",
109. "_type": "visualization",
110. "_source": {
111. "title": "Memory [Node=>Container]",
112. "visState": "{\"title\":\"Memory [Node=>Container]\",\"type\":\"area\",\"params\":{\"shareYAxis\":true,\"addTooltip\":true,\"addLegend\":true,\"smoothLines\":false,\"scale\":\"linear\",\"interpolate\":\"linear\",\"mode\":\"stacked\",\"times\":[],\"addTimeMarker\":false,\"defaultYExtents\":false,\"setYExtents\":false,\"yAxis\":{}},\"aggs\":[{\"id\":\"1\",\"type\":\"avg\",\"schema\":\"metric\",\"params\":{\"field\":\"container_stats.memory.usage\"}},{\"id\":\"2\",\"type\":\"date_histogram\",\"schema\":\"segment\",\"params\":{\"field\":\"container_stats.timestamp\",\"interval\":\"auto\",\"customInterval\":\"2h\",\"min_doc_count\":1,\"extended_bounds\":{}}},{\"id\":\"3\",\"type\":\"terms\",\"schema\":\"group\",\"params\":{\"field\":\"container_Name\",\"size\":5,\"order\":\"desc\",\"orderBy\":\"1\"}},{\"id\":\"4\",\"type\":\"terms\",\"schema\":\"split\",\"params\":{\"field\":\"machine_name\",\"size\":5,\"order\":\"desc\",\"orderBy\":\"1\",\"row\":true}}],\"listeners\":{}}",
113. "uiStateJSON": "{}",
114. "description": "",
115. "version": 1,
116. "kibanaSavedObjectMeta": {
117. "searchSourceJSON": "{\"index\":\"cadvisor*\",\"query\":{\"query_string\":{\"query\":\"* NOT container_Name.raw: \\\\\\\"/\\\\\\\" AND NOT container_Name.raw: \\\\\\\"/docker\\\\\\\"\",\"analyze_wildcard\":true}},\"filter\":[]}"
118. }
119. }
120. }
121. ]

这里还有很多东西可以玩，你也许想自定义报表界面，比如添加内存页错误状态，或者收发包的丢包数。如果你能实现开头列表处我没能实现的项目，那也是很好的。

总结

正确监控需要大量时间和精力，容器的 CPU、内存、IO、网络和磁盘，监控的这些参数还只是整个监控项目中的沧海一粟而已。

我不知道你做到了哪一阶段，但接下来的任务也许是：

• 收集运行中的容器的日志
• 收集应用的日志
• 监控应用的性能
• 报警
• 监控健康状态