彻底搞懂监控系统,使用Prometheus和Grafana 如何实现运维告警?

本文涉及的产品
可观测可视化 Grafana 版,10个用户账号 1个月
可观测监控 Prometheus 版,每月50GB免费额度
简介: 之前我们搭建好了监控环境并且监控了服务器、应用,我们可以实时了解当前被应用平台的运行状态,但是我们不可能时时坐在电脑边上盯着DashBoard,这就需要一个告警功能,当服务器或应用指标异常时发送告警,通过邮件或者短信的形式告诉运维人员及时处理。所以,接下来就来介绍非常重要的功能——告警。

之前我们搭建好了监控环境并且监控了服务器、数据库、应用,运维人员可以实时了解当前被监控对象的运行情况,但是他们不可能时时坐在电脑边上盯着DashBoard,这就需要一个告警功能,当服务器或应用指标异常时发送告警,通过邮件或者短信的形式告诉运维人员及时处理。接下来就来介绍非常重要的功能——告警。


image.png

一、告警的实现方式

Prometheus将数据采集和告警分成了两个模块。报警规则配置在Prometheus Servers上,然后发送报警信息到AlertManger等告警系统,然后在告警系统管理这些报警信息、聚合报警信息、然后通过email、短信等方式发送消息提。目前,实现告警功能主要有以下几种方式:

  • 使用prometheus提供的Alertmanager告警组件(功能全面,告警规则配置比较复杂)。
  • OneAlert等其他第三方组件(配置简单,可以实现短信、电话、微信等多种告警方式,但是依赖第三方平台,而且是收费的
  • Grafana 等自带的告警功能(配置简单)


相比于Grafana的图形化界面,Alertmanager需要依靠配置文件实现,虽然配置比较繁琐,但是胜在功能强大灵活。接下来我们就使用Alertmanager一步一步实现告警通知。


二、Grafana告警

新版本的Grafana提供了告警配置,直接在dashboard监控panel中设置告警即可。Grafana 支持多种告警方式,这里以邮件为例,演示Grafana如何设置邮件告警功能。


2.1 配置邮件服务

step1:要启用 email 报警需要在启动配置文件中 /conf/default.ini开启 SMTP 服务,具体配置如下:

[smtp]
enabled = true
host = smtp.163.com:25
user = xxx@163.com  # 邮件地址
# If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;"""
password = xxx    # 授权码
cert_file =
key_file =
skip_verify = true
from_address = xxx@163.com  # 发件人地址
from_name = Grafana
ehlo_identity = dashboard.example.com
[emails]
welcome_email_on_sign_up = false
templates_pattern = emails/*.html
content_types = text/html

这里的邮箱服务使用的是163的邮箱服务,需要提前打开邮箱的SMTP服务并申请授权码,示例中的邮箱地址和密码请换成自己的邮箱和授权码。


step2:重启Grafana,验证邮件是否配置成功,点击页面上的 Alerting | Contact points 添加Contact Points。

image.png

点击页面上的 New contact point 按钮,添加一个邮件通知渠道。

image.png

选择邮件方式,并输入收件人的邮箱后保存即可,验证邮箱是否配置成功,点击 Test 按钮,Grafana 会发送一封测试邮件到收件人邮箱。如果能收到邮件,说明配置成功。


2.2 配置告警规则

配置好邮件发送和接收的Contact Points 之后,接下来我们配置Grafana的告警规则。

step1:创建告警告警规则,首先在某个Panel 上的下拉箭头中,选择 Edit | Alert。

image.png

step2:接下来点击 Create alert from this panel 按钮,给此panel 创建告警规则。

image.png

如上图所示,我们以node_memory_MemFree_bytes (服务器可用内存)指标为例,设置告警规则:当服务器可用内存低于4.65G 时告警。


step3:告警名称,间隔时间等设置。

image.png


step4:设置完其他相关的参数之后,点击Save 保存,即可查看告警的情况。

image.png

如上图所示,Grafana已经产生了一条Pending状态的告警的记录,当此记录变为Firing状态就说明已经告警成功,并发送了邮件通知。

image.png


以上,我们把Grafana的告警功能介绍完了,Grafana虽然比较直观,但是相比Alertmanager而言不够灵活,不支持变量,如果系统不复杂的话,可以考虑使用Grafana。


三、Alertmanager

3.1 告警类型

Alertmanager提供了以下两种告警方式:  

  • 邮件接收器 email_config,发送邮件通知;
  • Webhook接收器 webhook_config,使用post方式向配置的url地址发送数据请求。


3.2 安装alertmanager

step1:安装Alertmanager

首先在prometheus官网,下载Alertmanager组件,并上传到服务器解压即可。

# 解压到/usr/local/prometheus目录下:
tar -zxvf alertmanager-0.24.0.linux-amd64.tar.gz -C /usr/local/prometheus
# 修改目录名:
cd /usr/local/prometheus
mv alertmanager-0.24.0.linux-amd64 alertmanager-0.24.0

step 2:配置Alertmanager

修改alertmanager.yml 文件,增加Email等相关配置,具体如下:

global:
  resolve_timeout: 5m  # alertmanager在持续多久没有收到新告警后标记为resolved
  smtp_from: 'xxx@163.com' # 发件人邮箱地址
  smtp_smarthost: 'smtp.163.com:25' # 邮箱smtp地址
  smtp_auth_username: 'xxx@163.com' # 发件人的登陆用户名,默认和发件人地址一致
  smtp_auth_password: 'xxx'  # 发件人的登陆密码,有时候是授权码
  smtp_hello: '163.com'
  smtp_require_tls:  # 是否需要tls协议。默认是true
route:
  group_by: [alertname] # 通过alertname的值对告警进行分类
  group_wait: 10s # 一组告警第一次发送之前等待的时延,即产生告警10s将组内新产生的消息合并发送,通常是0s~几分钟(默认是30s)
  group_interval: 2m # 一组已发送过初始告警通知的告警,接收到新告警后,下次发送通知前等待时延,通常是5m或更久(默认是5m)
  repeat_interval: 5m # 一组已经发送过通知的告警,重复发送告警的间隔,通常设置为3h或者更久(默认是4h)
  receiver: 'default-receiver' # 设置告警接收人
receivers:
- name: 'default-receiver'
  email_configs:
  - to: 'xxx@163.com'
    send_resolved: true # 发送恢复告警通知
inhibit_rules: # 抑制规则
  - source_match:  # 源匹配级别,当匹配成功发出通知,其他级别产生告警将被抑制
      severity: 'critical' # 告警时间级别(告警级别根据规则自定义)
    target_match: 
      severity: 'warning' # 匹配目标成功后,新产生的目标告警为'warning'将被抑制
    equal: ['alertname','dev','instance'] # 基于这些标签抑制匹配告警的级别

这里的邮箱服务使用的是163的邮箱服务,需要提前打开邮箱的SMTP服务并申请授权码,示例中的邮箱地址和密码请换成自己的邮箱和授权码。


配置文件比较复杂,可以使用./amtool check-config alertmanager.yml 命令校验文件是否正确。


step 3:启动运行

配置文件修改完成后,接下来我们将Alertmanager运行起来,具体命令如下:

#alertmanager
cd /usr/local/prometheus/alertmanager-0.24.0
#执行启动命令,指定数据访问的url
alertmanager --config.file=/usr/local/prometheus/alertmanager-0.24.0/alertmanager.yml

命令执行成功后,在浏览器中访问:http://10.2.1.231:9093/ 默认端口9093

image.png

如上图所示,我们成功打开Alertmanager 管理页面,说明Alertmanager配置、启动成功。


3.3 将Alertmanager添加到Prometheus

前面我们说了,告警规则是配置在Prometheus Servers上,然后发送报警信息到AlertManger中的,那么接下来我们把Alertmanager添加到Prometheus中。


step1: Prometheus告警配置

修改prometheus.yml 配置文件,增加告警地址和告警规则,具体配置如下:

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets: [10.2.1.231:9093]
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
# 加载指定的规则文件
rule_files:
  - "first.rules"
  - "rules/*.yml"

上面的配置,主要是配置Alertmanager的地址和规则文件加载路径。告警规则读取prometheus目录的rule下的所有以yml结尾的文件。


step2:配置告警规则

前面在prometheus.yml 中配置了规则的路径,所以,接下来在prometheus的根目录下创建rules目录。这里以服务器资源状态状态为例,制定cpu、内存、磁盘的告警。创建pods_rule.yaml文件。具体配置如下:

groups:
  - name: alertmanager_pod.rules
    rules:
    - alert: Pod_all_cpu_usage
      expr: (sum by(name)(rate(container_cpu_usage_seconds_total{image!=""}[5m]))*100) > 1
      for: 2m
      labels:
        serverity: critical
        service: pods
      annotations:
        description: 容器 {{ $labels.name }} CPU 资源利用率大于 10% , (current value is {{ $value }})
        summary: Dev CPU 负载告警
    - alert: Pod_all_memory_usage
      expr: sort_desc(avg by(name)(irate(node_memory_MemFree_bytes {name!=""}[5m]))) > 2147483648 # 内存大于2G
      for: 2m
      labels:
        severity: critical
      annotations:
        description: 容器 {{ $labels.name }} Memory 资源利用大于 2G , (current value is {{ $value }})
        summary: Dev Memory 负载告警
    - alert: Pod_all_network_receive_usage
      expr: sum by(name)(irate(container_network_reveive_bytes_total{container_name="POD"}[1m])) > 52428800 # 大于50M
      for: 2m
      labels:
        severity: critical
      annotations:
        description: 容器 {{ $labels.name }} network_receive 资源利用大于 50M , (current value is {{ $value }})
    - alert: node内存可用大小
      expr: node_memory_MemFree_bytes < 5368709120  # 内存小于5G
      for: 2m
      labels:
        severity: critical
      annotations:
        description: node可用内存小于5G


step3: 重启Prometheus

配置完成后重启Prometheus,访问Prometheus查看告警配置。在浏览器中输入:http://10.2.1.231:9090/alerts 查看告警配置是否成功。

image.png

说上图所示,我们在Prometheus的Alerts下可以看到对应的告警配置。FIRING说明告警已成功。

此时Alertmanager应该相关的告警数据。打开http://10.2.1.231:9093/#/alerts 查看报警情况。

image.png

如上图所示,Alertmanager收到了Prometheus发过来的告警消息,前面我们在Alertmanager中配置了邮件地址,可以去邮箱中查看是否收到邮件。

image.png

Alertmanager的告警内容支持使用模板配置,可以使用邮件模板进行渲染,感兴趣的话也可以试试!


最后

以上,我们就把Prometheus如何告警介绍完了,告警功能非常重要,告警规则的设置比较复杂,最好能够多熟悉熟悉相关的设置。

相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
相关文章
|
1月前
|
Prometheus 运维 监控
智能运维实战:Prometheus与Grafana的监控与告警体系
【10月更文挑战第26天】Prometheus与Grafana是智能运维中的强大组合,前者是开源的系统监控和警报工具,后者是数据可视化平台。Prometheus具备时间序列数据库、多维数据模型、PromQL查询语言等特性,而Grafana支持多数据源、丰富的可视化选项和告警功能。两者结合可实现实时监控、灵活告警和高度定制化的仪表板,广泛应用于服务器、应用和数据库的监控。
266 3
|
10天前
|
运维 Prometheus 监控
🎉 WatchAlert - 开源多数据源告警引擎【运维研发必备能力】
WatchAlert 是一个开源的多数据源告警引擎,支持从 Prometheus、Elasticsearch、Kubernetes 等多种数据源获取监控数据,并根据预定义的告警规则触发告警。它具备多数据源支持、灵活的告警规则、多渠道告警通知、可扩展架构和高性能等核心特性,帮助团队更高效地监控和响应问题。项目地址:https://github.com/opsre/WatchAlert
🎉 WatchAlert - 开源多数据源告警引擎【运维研发必备能力】
|
3天前
|
存储 数据采集 Prometheus
Grafana Prometheus Altermanager 监控系统
Grafana、Prometheus 和 Alertmanager 是一套强大的开源监控系统组合。Prometheus 负责数据采集与存储,Alertmanager 处理告警通知,Grafana 提供可视化界面。本文简要介绍了这套系统的安装配置流程,包括各组件的下载、安装、服务配置及开机自启设置,并提供了访问地址和重启命令。适用于希望快速搭建高效监控平台的用户。
52 20
|
6天前
|
Prometheus 运维 监控
Prometheus+Grafana+NodeExporter:构建出色的Linux监控解决方案,让你的运维更轻松
本文介绍如何使用 Prometheus + Grafana + Node Exporter 搭建 Linux 主机监控系统。Prometheus 负责收集和存储指标数据,Grafana 用于可视化展示,Node Exporter 则采集主机的性能数据。通过 Docker 容器化部署,简化安装配置过程。完成安装后,配置 Prometheus 抓取节点数据,并在 Grafana 中添加数据源及导入仪表盘模板,实现对 Linux 主机的全面监控。整个过程简单易行,帮助运维人员轻松掌握系统状态。
56 3
|
6天前
|
Prometheus Cloud Native Linux
Prometheus+Grafana新手友好教程:从零开始搭建轻松掌握强大的警报系统
本文介绍了使用 Prometheus 和 Grafana 实现邮件报警的方案,包括三种主要方法:1) 使用 Prometheus 的 Alertmanager 组件;2) 使用 Grafana 的内置告警通知功能;3) 使用第三方告警组件如 OneAlert。同时,详细描述了环境准备、Grafana 安装配置及预警设置的步骤,确保用户能够成功搭建并测试邮件报警功能。通过这些配置,用户可以在系统或应用出现异常时及时收到邮件通知,保障系统的稳定运行。
33 1
|
1月前
|
数据采集 Prometheus 监控
Prometheus的告警规则
Prometheus的告警规则
94 11
|
1月前
|
Prometheus Cloud Native
Prometheus的告警处理
【10月更文挑战第31天】Prometheus的告警处理
38 3
|
1月前
|
Prometheus Kubernetes Cloud Native
Prometheus的告警配置
【10月更文挑战第31天】Prometheus的告警配置
50 1
|
1月前
|
Prometheus 运维 监控
智能运维实战:Prometheus与Grafana的监控与告警体系
【10月更文挑战第27天】在智能运维中,Prometheus和Grafana的组合已成为监控和告警体系的事实标准。Prometheus负责数据收集和存储,支持灵活的查询语言PromQL;Grafana提供数据的可视化展示和告警功能。本文介绍如何配置Prometheus监控目标、Grafana数据源及告警规则,帮助运维团队实时监控系统状态,确保稳定性和可靠性。
227 0
|
2月前
|
运维 Linux Apache
,自动化运维成为现代IT基础设施的关键部分。Puppet是一款强大的自动化运维工具
【10月更文挑战第7天】随着云计算和容器化技术的发展,自动化运维成为现代IT基础设施的关键部分。Puppet是一款强大的自动化运维工具,通过定义资源状态和关系,确保系统始终处于期望配置状态。本文介绍Puppet的基本概念、安装配置及使用示例,帮助读者快速掌握Puppet,实现高效自动化运维。
69 4