Linux|centos7 Prometheus的自动服务发现 一(文件发现机制)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
可观测监控 Prometheus 版,每月50GB免费额度
简介: Linux|centos7 Prometheus的自动服务发现 一(文件发现机制)

前言:

Prometheus作为一个监控神器,深受大家的喜爱,那么如何使用它是一个问题,如何用好它又是一个问题了。

本文以centos7操作系统下搭建的Prometheus server为例,讲解基于文件发现新的采集器。

一,

Prometheus的配置文件

第一,

通常的,不管是哪种服务都是有且仅有一个主配置文件,例如MySQL的主配置文件是my.cnf ,各个部署安装教程里也都是所有的配置写到这一个配置文件内。

说到底,这么做也是对的,毕竟一个配置文件便于管理嘛,毕竟根据MySQL服务的特点来说,不到100行的配置文件属实是有点小的。

那么,Prometheus的主配置文件就不同了,如果是仅仅几个服务器的监控,无所谓喽,例如,仅仅监控三台的包含node_exporter的配置文件:

# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).
# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"
# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"
    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.
    static_configs:
      - targets: ["192.168.217.24:9090"]  #本机IP+端口,其它的不用改
      - targets: ["192.168.217.25:9090"] 
      - targets: ["192.168.217.26:9090"] 

那么,问题来了,如果是有上百台的服务器都安装了node_exporter收集器,然后这个Prometheus server要监控它们,是不是就要写几百个      - targets: ["192.168.217.24:9090"] 了?不仅仅是node_exporter收集器,假设这上百个服务器里有几十个MySQL,那么,Prometheus的配置文件是不是还要把几十个mysqld_exporter 写进来?还有其他的需要监控的,比如nginx,那么,又要增加写入多少配置呢?

如此的话,这个配置文件将会非常的臃肿(一般情况下,我们认为一个配置文件的内容不应该超过100行,否则,我们应该认为这个配置是不便于管理的)。

第二,

配置文件修改后生效的问题

一般情况下,任何服务的主配置文件都是和服务的启停脚本绑定的,这意味着如果配置文件修改了,要看到修改后的效果必须要重启服务,Prometheus也是如此(例如,nginx 增加一个反向代理配置,是不是需要重新启动一下nginx服务或者 至少reload一下服务,才可以看到反向代理的效果?)

要不说Prometheus是神器呢,这个问题在普罗米修斯这里不在是问题了。Prometheus贴心的给准备了服务自动发现功能。

文件自动发现概念:

可以通过 watch 一组本地的目标文件来获取抓取目标以及标签信息,这就是基于文件的服务发现方式。

该方式提供了一种更通用的方式来配置静态目标,它读取一组包含零个或多个 <static_config> 列表的文件,对所有定义的文件的变更通过磁盘监视被检测到并立即应用,目标文件可以以 YAML或 JSON 格式,YAML格式的如下:

  1. - targets:
  2. [ - '<host>' ]
  3. labels:
  4. [ <labelname>: <labelvalue> ... ]

三,

如何实现文件自动发现

编辑Prometheus的主配置文件:末尾添加如下:

这里使用了通配符,但也可以使用绝对路径,指定单一文件,这个路径需要绝对存在,

多说一句,在192.168.217.19/20/20/22 这四台服务器都已经安装并启动了node_exporter服务。

cat /usr/local/prometheus/prometheus.yml
# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).
# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"
# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label  to any timeseries scraped from this config.
  - job_name: "prometheus"
    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.
    static_configs:
      - targets: ["192.168.217.22:9090"]  #本机IP+端口,其它的不用改
  - job_name: "node-exporter"
    file_sd_configs: 
      - files: ['/opt/promethes/files-sd/*.yml'] #自定义的文件存放路径和要发现的文件类型
        refresh_interval : 5s #发现文件的刷新时间为5秒,这里是为了更快速的测试到

根据以上配置,需要新建目录如下:

mkdir -p /opt/promethes/files-sd

重启Prometheus服务:

systemctl daemon-reload && systemctl restart prometheus

此时,我们在/opt/promethes/files-sd目录下根据自己的需求新建文件,文件的后缀名必须是前面定义的yml,Prometheus才可以识别到:

注意,标签可以自定义任意的,但最好定义的有一定意义

cat >/opt/promethes/files-sd/node-exporter2.yml <<eof
- targets: ['192.168.217.20:9100']
  labels:
    job: node2
eof

OK,此时的Prometheus server不再需要重启了,可以立刻通过Prometheus的web管理端看到,那么,依法炮制其它三个文件,内容如下:

cat >/opt/promethes/files-sd/node-exporter2.yml <<eof
- targets: ['192.168.217.20:9100']
  labels:
    job: node2
eof
cat >/opt/promethes/files-sd/node-exporter3.yml <<eof
- targets: ['192.168.217.21:9100']
  labels:
    job: node3
eof
cat >/opt/promethes/files-sd/node-exporter4.yml <<eof
- targets: ['192.168.217.21:9100']
  labels:
    job: node4
eof

打开Prometheus的web管理端,查看Status===》Service Discovery,应该是能够看到如下:

 

OK,假设某天节点192.168.217.19损坏了,开不了机了,那么,将其提出Prometheus的监控范围也就非常简单了,把对应节点的配置文件改个名称就好了:

mv node-exporter1.yml node-exporter1.yml-bak

再次回到web管理界面,大概等待5秒(上面定义的刷新时间),可以看到相关的node1的node_exporter已经没有了:

 

总结:

基于文件的服务发现有如下优点:

1,减少主配置文件,防止配置文件过于臃肿

2,通过文件解耦服务,便于服务动态改动,不需要重启Prometheus,如果Prometheus的监控服务非常多的话,避免其它的服务受到因服务重启而造成的影响。

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
目录
相关文章
|
3月前
|
缓存 Linux 开发者
Linux内核中的并发控制机制
本文深入探讨了Linux操作系统中用于管理多线程和进程的并发控制的关键技术,包括原子操作、锁机制、自旋锁、互斥量以及信号量。通过详细分析这些技术的原理和应用,旨在为读者提供一个关于如何有效利用Linux内核提供的并发控制工具以优化系统性能和稳定性的综合视角。
|
3天前
|
存储 网络协议 Linux
【Linux】进程IO|系统调用|open|write|文件描述符fd|封装|理解一切皆文件
本文详细介绍了Linux中的进程IO与系统调用,包括 `open`、`write`、`read`和 `close`函数及其用法,解释了文件描述符(fd)的概念,并深入探讨了Linux中的“一切皆文件”思想。这种设计极大地简化了系统编程,使得处理不同类型的IO设备变得更加一致和简单。通过本文的学习,您应该能够更好地理解和应用Linux中的进程IO操作,提高系统编程的效率和能力。
50 34
|
2月前
|
Linux Shell 网络安全
Kali Linux系统Metasploit框架利用 HTA 文件进行渗透测试实验
本指南介绍如何利用 HTA 文件和 Metasploit 框架进行渗透测试。通过创建反向 shell、生成 HTA 文件、设置 HTTP 服务器和发送文件,最终实现对目标系统的控制。适用于教育目的,需合法授权。
88 9
Kali Linux系统Metasploit框架利用 HTA 文件进行渗透测试实验
|
2月前
|
Ubuntu Linux Go
golang编译成Linux可运行文件
本文介绍了如何在 Linux 上编译和运行 Golang 程序,涵盖了本地编译和交叉编译的步骤。通过这些步骤,您可以轻松地将 Golang 程序编译成适合 Linux 平台的可执行文件,并在目标服务器上运行。掌握这些技巧,可以提高开发和部署 Golang 应用的效率。
272 14
|
2月前
|
存储 编译器 Linux
动态链接的魔法:Linux下动态链接库机制探讨
本文将深入探讨Linux系统中的动态链接库机制,这其中包括但不限于全局符号介入、延迟绑定以及地址无关代码等内容。
835 25
|
2月前
|
Prometheus 监控 Cloud Native
Prometheus+Grafana监控Linux主机
通过本文的步骤,我们成功地在 Linux 主机上使用 Prometheus 和 Grafana 进行了监控配置。具体包括安装 Prometheus 和 Node Exporter,配置 Grafana 数据源,并导入预设的仪表盘来展示监控数据。通过这种方式,可以轻松实现对 Linux 主机的系统指标监控,帮助及时发现和处理潜在问题。
201 7
|
2月前
|
存储 NoSQL Linux
linux积累-core文件是干啥的
核心文件是Linux系统在程序崩溃时生成的重要调试文件,通过分析核心文件,开发者可以找到程序崩溃的原因并进行调试和修复。本文详细介绍了核心文件的生成、配置、查看和分析方法
155 6
|
2月前
|
存储 NoSQL Linux
linux之core文件如何查看和调试
通过设置和生成 core 文件,可以在程序崩溃时获取详细的调试信息。结合 GDB 等调试工具,可以深入分析 core 文件,找到程序崩溃的具体原因,并进行相应的修复。掌握这些调试技巧,对于提高程序的稳定性和可靠性具有重要意义。
400 6
|
2月前
|
Prometheus 运维 监控
Prometheus+Grafana+NodeExporter:构建出色的Linux监控解决方案,让你的运维更轻松
本文介绍如何使用 Prometheus + Grafana + Node Exporter 搭建 Linux 主机监控系统。Prometheus 负责收集和存储指标数据,Grafana 用于可视化展示,Node Exporter 则采集主机的性能数据。通过 Docker 容器化部署,简化安装配置过程。完成安装后,配置 Prometheus 抓取节点数据,并在 Grafana 中添加数据源及导入仪表盘模板,实现对 Linux 主机的全面监控。整个过程简单易行,帮助运维人员轻松掌握系统状态。
287 3
|
2月前
|
监控 算法 Linux
Linux内核锁机制深度剖析与实践优化####
本文作为一篇技术性文章,深入探讨了Linux操作系统内核中锁机制的工作原理、类型及其在并发控制中的应用,旨在为开发者提供关于如何有效利用这些工具来提升系统性能和稳定性的见解。不同于常规摘要的概述性质,本文将直接通过具体案例分析,展示在不同场景下选择合适的锁策略对于解决竞争条件、死锁问题的重要性,以及如何根据实际需求调整锁的粒度以达到最佳效果,为读者呈现一份实用性强的实践指南。 ####