Docker下Prometheus和Grafana三部曲之二:细说Docker编排

本文涉及的产品
可观测可视化 Grafana 版,10个用户账号 1个月
可观测监控 Prometheus 版,每月50GB免费额度
简介: 上一篇文章中快速搭建环境是否给您留下了印象,今天就来揭秘如何实现简单快捷的构建一个监控系统

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码): https://github.com/zq2599/blog_demos

本篇概览

  • 本文是《Docker下Prometheus和Grafana三部曲》的第二篇,在上一章《Docker下Prometheus和Grafana三部曲之一:极速体验》中,我们只做了少量的操作就搭建了一个业务监控系统(包括prometheus、node-exporter、cadvisor、grafana、业务后台服务),本文就来揭示如何通过Docker编排来简化整个环境的搭建;

三部曲所有文章链接

回顾操作

  • 前文中,我们有三次操作:
  • 执行以下命令,用于创建所有容器:
wget https://raw.githubusercontent.com/zq2599/blog_demos/master/prometheusdemo/files/prometheus.yml && \
wget https://raw.githubusercontent.com/zq2599/blog_demos/master/prometheusdemo/files/docker-compose.yml && \
docker-compose up -d
  • 登录Grafana页面取得API Key;
  • 执行以下命令,用于创建Grafana上的数据源和监控图表:
wget https://raw.githubusercontent.com/zq2599/blog_demos/master/prometheusdemo/files/import_dashboard.sh && \
chmod a+x import_dashboard.sh && \
./import_dashboard.sh 192.168.1.101 xxxxxx
  • 接下来逐个分析;

prometheus的配置文件prometheus.yml

  • 来看看下载的prometheus配置文件的内容:
# my global config
global:
  scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
  - static_configs:
    - targets:
      # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
    - targets: ['127.0.0.1:9090','node-exporterhost:9100','cadvisorhost:8080']

  - job_name: 'proemtheusdemo'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.
    metrics_path: '/prometheus'
    static_configs:
    - targets: ['prometheusdemohost:8080']
  • 这是个普通的prometheus配置文件,除了监控自身的9090端口,还有node-exporterhost、cadvisorhost、prometheusdemohost这三个host的不同端口,分别对应着宿主机自身、docker服务、业务web服务等三个监控数据源;
  • 看了上面的配置,您可能会疑惑:node-exporterhost、cadvisorhost、prometheusdemohost它们代表什么呢?配置项的那个位置应该填写具体的IP地址才对。
  • 其实,这个prometheus.yml文件是给Docker容器中的prometheus服务使用的,而node-exporter、cadvisor、业务web服务也分别运行在各自的Docker容器中,prometheus服务想要访问这些容器,最好的方法就是link参数,因此node-exporterhost、cadvisorhost、prometheusdemohost都是给prometheus容器配置的link参数,这就相当于docker给prometheus容器的/etc/hosts文件写入了上述三个容器的ip,对应的name就是node-exporterhost、cadvisorhost、prometheusdemohost,稍后在docker-compose.yml文件中可以看到;

容器编排文件docker-compose.yml

  • docker-compose.yml里面记录了所有的容器的设置和依赖关系:
version: '2'
services:
  node-exporter:
    image: prom/node-exporter:v0.17.0-rc.0
    container_name: node-exporter
    restart: unless-stopped
    ports:
      - '9100:9100'
    command:
      - '--path.procfs=/host/proc'
      - '--path.sysfs=/host/sys'
      - '--collector.filesystem.ignored-mount-points=^/(sys|proc|dev|host|etc)($$|/)'
      - '--collector.textfile.directory=/node_exporter/prom'
    volumes:
      - /proc:/host/proc
      - /sys:/host/sys
      - /:/rootfs
      - ./etc/node_exporter/prom:/node_exporter/prom
  cadvisor: 
    image: google/cadvisor:v0.28.0
    container_name: cadvisor
    depends_on:
      - node-exporter
    volumes:
      - /:/rootfs:ro
      - /var/run:/var/run:rw
      - /sys:/sys:ro
      - /var/lib/docker/:/var/lib/docker:ro
    ports: 
      - "8080:8080"
    restart: unless-stopped
  prometheusdemo:
    image: bolingcavalry/prometheusdemo:0.0.1-SNAPSHOT
    container_name: prometheusdemo
    ports:
    - "8081:8080"
    restart: unless-stopped
  prometheus: 
    image: prom/prometheus:v2.8.0-rc.0
    container_name: prometheus
    depends_on:
      - node-exporter
    links:
      - node-exporter:node-exporterhost
      - cadvisor:cadvisorhost
      - prometheusdemo:prometheusdemohost
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml
    ports: 
      - "9090:9090"
    restart: unless-stopped
  grafana: 
    image: grafana/grafana:5.4.2
    container_name: grafana
    links:
      - prometheus
    environment:
      - GF_SERVER_ROOT_URL=http://grafana.server.name
      - GF_SECURITY_ADMIN_PASSWORD=secret
      - GF_USERS_ALLOW_SIGN_UP=false
    depends_on:
      - prometheus
    ports: 
      - "3000:3000"
    restart: unless-stopped
  • 关于docker-compose.yml文件,有以下几点需要注意:

a. 为了采集到宿主机的数据,node-exporter、cadvisor这两个容器通过数据卷参数将宿主机的目录映射到容器中,这在生产环境是要严格控制的,不要将重要的目录轻易暴露给未经校验的容器,例如一个恶意的镜像被pull到本地,然后通过docker tag命令把名称改成了node-exporter、cadvisor;
b. prometheus容器的配置中使用了link参数,这样就能用node-exporterhost这样的名称直接访问到node-export容器了;
c. prometheus容器通过数据卷映射参数,将宿主机的prometheus.yml映射到容器中,这样我们只要配置好当前目录下的prometheus.yml文件,就可以直接在prometheus容器生效了(如果容器已经启动后再次修改了此文件,要使用docker restart prometheus命令重启容器才能生效);
d. prometheusdemo是基于springboot开发的一个web服务,对外提供一个接口,通过ports参数将容器的8080和宿主机的8081端口映射;
e. grafana容器的环境变量GF_SECURITY_ADMIN_PASSWORD=secret,表示Grafana的web网页用admin账号登录时,密码是secret;

  • 看过了docker-compose.yml文件,您对整个环境的容器信息已经清楚了,接下来看看import_dashboard.sh这个脚本做了什么;

通过import_dashboard.sh脚本在Grafana创建数据源和监控项

  • import_dashboard.sh的内容如下,其实就是用curl命令向Grafana服务器发送http请求,关键位置已加了中文注释,就不多赘述了:
#!/bin/bash
#第一个参数作为Grafana服务器的IP地址
GRAFANA_HOST=$1
#第二个参数作为身份鉴权的API Key
API_KEY=$2

echo "grafana host ["${GRAFANA_HOST}"]"
echo "api key ["${API_KEY}"]"

echo "start create datasource"

#通过curl工具发起一个POST请求,用来创建数据源
curl -X POST \
  http://${GRAFANA_HOST}:3000/api/datasources \
-H "Content-Type:application/json" \
-H "Authorization: Bearer ${API_KEY}" \
-d '{"name":"Prometheus","type":"prometheus","url":"http://prometheus:9090","access":"proxy","basicAuth":false}' \

echo ""
echo "start create host dashboard"

#通过curl工具发起一个POST请求,用来创建一个dashboard,也就是前文中我们看到的反映宿主机CPU、磁盘等基本状况的监控页面
curl -X POST \
  http://${GRAFANA_HOST}:3000/api/dashboards/db \
  -H 'Accept: application/json' \
  -H "Authorization: Bearer ${API_KEY}" \
  -H 'Content-Type: application/json' \
  -H 'Postman-Token: 2d3c3d60-4c5a-4936-836f-1572d447f473' \
  -H 'cache-control: no-cache' \
  -d '{
  "dashboard": {
  "annotations": {
    "list": [
      {
        "builtIn": 1,
        "datasource": "-- Grafana --",
        "enable": true,
        "hide": true,
        ...
        ...
        ...        
  • 以上只是部分内容,由于篇幅所限就不贴出整个脚本了,Grafana提供了丰富的http api给我们调用,帮用户实现更多的自定义和自动化配置,详情请参考官方文档:http://docs.grafana.org/http_api
  • 您可能会有疑问:上述脚本中,每个dashboard的配置信息多达数百行甚至上千行,是怎么做出来的?其实监控项一般都是网页上配置出来的,这些内容是将做好的监控项以json格式导出的内容,操作如下图:

在这里插入图片描述

  • 得到上述json内容,我们就可以很方便的将自己配置好的监控项导入导出了;
  • 至此,整个监控环境的编排和构建详情已经全部分析过了,相信您已经了解如何构建一个小而完整的监控系统,接下来的文章中,我们一起来实战自定义监控项的开发流程,这样就能通过prometheus和Grafana来展现个性化的业务数据了,请看 《Docker下Prometheus和Grafana三部曲之三:自定义监控项开发和配置》

欢迎关注阿里云开发者社区博客:程序员欣宸

学习路上,你不孤单,欣宸原创一路相伴...
相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
相关文章
|
2月前
|
Prometheus 监控 Cloud Native
docker安装prometheus+Granfan并监控容器
【9月更文挑战第14天】本文介绍了在Docker中安装Prometheus与Grafana并监控容器的步骤,包括创建配置文件、运行Prometheus与Grafana容器,以及在Grafana中配置数据源和创建监控仪表盘,展示了如何通过Prometheus抓取数据并利用Grafana展示容器的CPU使用率等关键指标。
|
3月前
|
Prometheus 监控 Cloud Native
自定义grafana_table(数据源Prometheus)
综上所述,自定义 Grafana 表格并将 Prometheus 作为数据源的关键是理解 PromQL 的查询机制、熟悉 Grafana 面板的配置选项,并利用 Grafana 强大的转换和自定义功能使数据展示更为直观和有洞见性。随着对这些工具更深入的了解,您将可以创建出更高级的监控仪表盘,以支持复杂的业务监控需求。
203 1
|
3月前
|
Prometheus 监控 Cloud Native
prometheus学习笔记之Grafana安装与配置
prometheus学习笔记之Grafana安装与配置
|
3月前
|
存储 Prometheus 监控
Grafana 与 Prometheus 集成:打造高效监控系统
【8月更文第29天】在现代软件开发和运维领域,监控系统已成为不可或缺的一部分。Prometheus 和 Grafana 作为两个非常流行且互补的开源工具,可以协同工作来构建强大的实时监控解决方案。Prometheus 负责收集和存储时间序列数据,而 Grafana 则提供直观的数据可视化功能。本文将详细介绍如何集成这两个工具,构建一个高效、灵活的监控系统。
319 1
|
3月前
|
Prometheus 监控 Cloud Native
Spring Boot 性能护航!Prometheus、Grafana、ELK 组合拳,点燃数字化时代应用稳定之火
【8月更文挑战第29天】在现代软件开发中,保证应用性能与稳定至关重要。Spring Boot 作为流行的 Java 框架,结合 Prometheus、Grafana 和 ELK 可显著提升监控与分析能力。Prometheus 负责收集时间序列数据,Grafana 将数据可视化,而 ELK (Elasticsearch、Logstash、Kibana)则管理并分析应用日志。通过具体实例演示了如何在 Spring Boot 应用中集成这些工具:配置 Prometheus 获取度量信息、Grafana 显示结果及 ELK 分析日志,从而帮助开发者快速定位问题,确保应用稳定高效运行。
96 1
|
3月前
|
Prometheus Kubernetes 监控
Kubernetes(K8S) 监控 Prometheus + Grafana
Kubernetes(K8S) 监控 Prometheus + Grafana
207 2
|
3月前
|
Prometheus 监控 Cloud Native
在Linux中,如何使用Grafana和Prometheus进行网络监控和可视化?
在Linux中,如何使用Grafana和Prometheus进行网络监控和可视化?
|
3月前
|
Prometheus 监控 Cloud Native
【监控】prometheus传统环境监控告警常用配置
【监控】prometheus传统环境监控告警常用配置
【监控】prometheus传统环境监控告警常用配置
|
5月前
|
Prometheus 监控 Cloud Native
基于Prometheus和Grafana的监控平台 - 环境搭建
基于Prometheus和Grafana的监控平台 - 环境搭建
|
2月前
|
Prometheus 监控 Cloud Native
介绍如何使用Prometheus进行监控
介绍如何使用Prometheus进行监控
168 3