Linux|centos7 Prometheus的自动服务发现 一(文件发现机制)

简介: Linux|centos7 Prometheus的自动服务发现 一(文件发现机制)

前言:

Prometheus作为一个监控神器,深受大家的喜爱,那么如何使用它是一个问题,如何用好它又是一个问题了。

本文以centos7操作系统下搭建的Prometheus server为例,讲解基于文件发现新的采集器。

一,

Prometheus的配置文件

第一,

通常的,不管是哪种服务都是有且仅有一个主配置文件,例如MySQL的主配置文件是my.cnf ,各个部署安装教程里也都是所有的配置写到这一个配置文件内。

说到底,这么做也是对的,毕竟一个配置文件便于管理嘛,毕竟根据MySQL服务的特点来说,不到100行的配置文件属实是有点小的。

那么,Prometheus的主配置文件就不同了,如果是仅仅几个服务器的监控,无所谓喽,例如,仅仅监控三台的包含node_exporter的配置文件:

# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).
# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"
# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"
    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.
    static_configs:
      - targets: ["192.168.217.24:9090"]  #本机IP+端口,其它的不用改
      - targets: ["192.168.217.25:9090"] 
      - targets: ["192.168.217.26:9090"] 

那么,问题来了,如果是有上百台的服务器都安装了node_exporter收集器,然后这个Prometheus server要监控它们,是不是就要写几百个      - targets: ["192.168.217.24:9090"] 了?不仅仅是node_exporter收集器,假设这上百个服务器里有几十个MySQL,那么,Prometheus的配置文件是不是还要把几十个mysqld_exporter 写进来?还有其他的需要监控的,比如nginx,那么,又要增加写入多少配置呢?

如此的话,这个配置文件将会非常的臃肿(一般情况下,我们认为一个配置文件的内容不应该超过100行,否则,我们应该认为这个配置是不便于管理的)。

第二,

配置文件修改后生效的问题

一般情况下,任何服务的主配置文件都是和服务的启停脚本绑定的,这意味着如果配置文件修改了,要看到修改后的效果必须要重启服务,Prometheus也是如此(例如,nginx 增加一个反向代理配置,是不是需要重新启动一下nginx服务或者 至少reload一下服务,才可以看到反向代理的效果?)

要不说Prometheus是神器呢,这个问题在普罗米修斯这里不在是问题了。Prometheus贴心的给准备了服务自动发现功能。

文件自动发现概念:

可以通过 watch 一组本地的目标文件来获取抓取目标以及标签信息,这就是基于文件的服务发现方式。

该方式提供了一种更通用的方式来配置静态目标,它读取一组包含零个或多个 <static_config> 列表的文件,对所有定义的文件的变更通过磁盘监视被检测到并立即应用,目标文件可以以 YAML或 JSON 格式,YAML格式的如下:

  1. - targets:
  2. [ - '<host>' ]
  3. labels:
  4. [ <labelname>: <labelvalue> ... ]

三,

如何实现文件自动发现

编辑Prometheus的主配置文件:末尾添加如下:

这里使用了通配符,但也可以使用绝对路径,指定单一文件,这个路径需要绝对存在,

多说一句,在192.168.217.19/20/20/22 这四台服务器都已经安装并启动了node_exporter服务。

cat /usr/local/prometheus/prometheus.yml
# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).
# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"
# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label  to any timeseries scraped from this config.
  - job_name: "prometheus"
    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.
    static_configs:
      - targets: ["192.168.217.22:9090"]  #本机IP+端口,其它的不用改
  - job_name: "node-exporter"
    file_sd_configs: 
      - files: ['/opt/promethes/files-sd/*.yml'] #自定义的文件存放路径和要发现的文件类型
        refresh_interval : 5s #发现文件的刷新时间为5秒,这里是为了更快速的测试到

根据以上配置,需要新建目录如下:

mkdir -p /opt/promethes/files-sd

重启Prometheus服务:

systemctl daemon-reload && systemctl restart prometheus

此时,我们在/opt/promethes/files-sd目录下根据自己的需求新建文件,文件的后缀名必须是前面定义的yml,Prometheus才可以识别到:

注意,标签可以自定义任意的,但最好定义的有一定意义

cat >/opt/promethes/files-sd/node-exporter2.yml <<eof
- targets: ['192.168.217.20:9100']
  labels:
    job: node2
eof

OK,此时的Prometheus server不再需要重启了,可以立刻通过Prometheus的web管理端看到,那么,依法炮制其它三个文件,内容如下:

cat >/opt/promethes/files-sd/node-exporter2.yml <<eof
- targets: ['192.168.217.20:9100']
  labels:
    job: node2
eof
cat >/opt/promethes/files-sd/node-exporter3.yml <<eof
- targets: ['192.168.217.21:9100']
  labels:
    job: node3
eof
cat >/opt/promethes/files-sd/node-exporter4.yml <<eof
- targets: ['192.168.217.21:9100']
  labels:
    job: node4
eof

打开Prometheus的web管理端,查看Status===》Service Discovery,应该是能够看到如下:

 

OK,假设某天节点192.168.217.19损坏了,开不了机了,那么,将其提出Prometheus的监控范围也就非常简单了,把对应节点的配置文件改个名称就好了:

mv node-exporter1.yml node-exporter1.yml-bak

再次回到web管理界面,大概等待5秒(上面定义的刷新时间),可以看到相关的node1的node_exporter已经没有了:

 

总结:

基于文件的服务发现有如下优点:

1,减少主配置文件,防止配置文件过于臃肿

2,通过文件解耦服务,便于服务动态改动,不需要重启Prometheus,如果Prometheus的监控服务非常多的话,避免其它的服务受到因服务重启而造成的影响。

目录
相关文章
|
存储 Linux
Linux内核中的current机制解析
总的来说,current机制是Linux内核中进程管理的基础,它通过获取当前进程的task_struct结构的地址,可以方便地获取和修改进程的信息。这个机制在内核中的使用非常广泛,对于理解Linux内核的工作原理有着重要的意义。
686 11
|
Prometheus 监控 Cloud Native
Prometheus+Grafana监控Linux主机
通过本文的步骤,我们成功地在 Linux 主机上使用 Prometheus 和 Grafana 进行了监控配置。具体包括安装 Prometheus 和 Node Exporter,配置 Grafana 数据源,并导入预设的仪表盘来展示监控数据。通过这种方式,可以轻松实现对 Linux 主机的系统指标监控,帮助及时发现和处理潜在问题。
1634 7
|
Prometheus 运维 监控
Prometheus+Grafana+NodeExporter:构建出色的Linux监控解决方案,让你的运维更轻松
本文介绍如何使用 Prometheus + Grafana + Node Exporter 搭建 Linux 主机监控系统。Prometheus 负责收集和存储指标数据,Grafana 用于可视化展示,Node Exporter 则采集主机的性能数据。通过 Docker 容器化部署,简化安装配置过程。完成安装后,配置 Prometheus 抓取节点数据,并在 Grafana 中添加数据源及导入仪表盘模板,实现对 Linux 主机的全面监控。整个过程简单易行,帮助运维人员轻松掌握系统状态。
2601 3
|
存储 编译器 Linux
动态链接的魔法:Linux下动态链接库机制探讨
本文将深入探讨Linux系统中的动态链接库机制,这其中包括但不限于全局符号介入、延迟绑定以及地址无关代码等内容。
2446 141
|
监控 算法 Linux
Linux内核锁机制深度剖析与实践优化####
本文作为一篇技术性文章,深入探讨了Linux操作系统内核中锁机制的工作原理、类型及其在并发控制中的应用,旨在为开发者提供关于如何有效利用这些工具来提升系统性能和稳定性的见解。不同于常规摘要的概述性质,本文将直接通过具体案例分析,展示在不同场景下选择合适的锁策略对于解决竞争条件、死锁问题的重要性,以及如何根据实际需求调整锁的粒度以达到最佳效果,为读者呈现一份实用性强的实践指南。 ####
|
消息中间件 安全 Linux
深入探索Linux操作系统的内核机制
本文旨在为读者提供一个关于Linux操作系统内核机制的全面解析。通过探讨Linux内核的设计哲学、核心组件、以及其如何高效地管理硬件资源和系统操作,本文揭示了Linux之所以成为众多开发者和组织首选操作系统的原因。不同于常规摘要,此处我们不涉及具体代码或技术细节,而是从宏观的角度审视Linux内核的架构和功能,为对Linux感兴趣的读者提供一个高层次的理解框架。
|
算法 Linux 开发者
Linux内核中的锁机制:保障并发控制的艺术####
本文深入探讨了Linux操作系统内核中实现的多种锁机制,包括自旋锁、互斥锁、读写锁等,旨在揭示这些同步原语如何高效地解决资源竞争问题,保证系统的稳定性和性能。通过分析不同锁机制的工作原理及应用场景,本文为开发者提供了在高并发环境下进行有效并发控制的实用指南。 ####
|
安全 Linux 数据安全/隐私保护
深入探索Linux操作系统的多用户管理机制
【10月更文挑战第21天】 本文将详细解析Linux操作系统中的多用户管理机制,包括用户账户的创建与管理、权限控制以及用户组的概念和应用。通过具体实例和命令操作,帮助读者理解并掌握Linux在多用户环境下如何实现有效的资源分配和安全管理。
|
缓存 Linux 开发者
Linux内核中的并发控制机制
本文深入探讨了Linux操作系统中用于管理多线程和进程的并发控制的关键技术,包括原子操作、锁机制、自旋锁、互斥量以及信号量。通过详细分析这些技术的原理和应用,旨在为读者提供一个关于如何有效利用Linux内核提供的并发控制工具以优化系统性能和稳定性的综合视角。
442 11
|
缓存 Linux 开发者
Linux内核中的并发控制机制:深入理解与应用####
【10月更文挑战第21天】 本文旨在为读者提供一个全面的指南,探讨Linux操作系统中用于实现多线程和进程间同步的关键技术——并发控制机制。通过剖析互斥锁、自旋锁、读写锁等核心概念及其在实际场景中的应用,本文将帮助开发者更好地理解和运用这些工具来构建高效且稳定的应用程序。 ####
394 5

热门文章

最新文章