AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

使用 Promwwwzs12558comI3578II9877etheus 监控 Ceph

2018-12-31 2935
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
可观测监控 Prometheus 版，每月50GB免费额度
可观测可视化 Grafana 版，10个用户账号 1个月
简介： 本文是在 Ubuntu 16.04 最新版基础上安装 Prometheus 监控系统，Ceph 版本为 Luminous 12.2.8。 1. 安装 Prometheus 直接使用 apt 安装的 Prometheus 版本较低，很多新的配置选项都已不再支持，建议使用 Prometheus 的安装包，接下来看看安装包部署的步骤。

Prometheus

本文是在 Ubuntu 16.04 最新版基础上安装 Prometheus 监控系统，Ceph 版本为 Luminous 12.2.8。

  1. 安装 Prometheus
    直接使用 apt 安装的 Prometheus 版本较低，很多新的配置选项都已不再支持，建议使用 Prometheus 的安装包，接下来看看安

装包部署的步骤。

先下载安装包，这里用的是 2.0.0 版本，目前为止，最新的应该为 2.4.0，安装方法都是一样的。

$ wget https://github.com/prometheus/prometheus/releases/download/v2.0.0/prometheus-2.0.0.linux-amd64.tar.gz
$ tar zxvf prometheus-2.0.0.linux-amd64.tar.gz
$ cd prometheus-2.0.0.linux-amd64/
$ sudo cp prometheus /usr/bin/
$ sudo cp promtool /usr/bin/
$ vim /lib/systemd/system/prometheus.service
[Unit]
Description=Prometheus: the monitoring system
Documentation=http://prometheus.io/docs/

[Service]
ExecStart=/usr/bin/prometheus --config.file=/etc/prometheus/prometheus.yml --storage.tsdb.path=/var/lib/prometheus --web.console.templates=/etc/prometheus/consoles --web.console.libraries=/etc/prometheus/console_libraries --web.listen-address=0.0.0.0:9090 --web.external-url=
Restart=always
StartLimitInterval=0
RestartSec=10

[Install]
WantedBy=multi-user.target
$ sudo mkdir /etc/prometheus/
$ sudo cp -R consoles console_libraries prometheus.yml /etc/prometheus/
$ sudo mkdir /var/lib/prometheus/
$ sudo systemctl daemon-reload
$ sudo systemctl enable prometheus.service
$ sudo systemctl start prometheus.service
在下一步装好 ceph_exporter 后，还需要在 Promethues 中添加相应配置，不过现在执行到这一步就可以了。

  1. 安装 ceph_exporter
    2.1 安装 Go 语言环境

导出 Ceph 信息到 Prometheus 有多种方式，本文采用的是 DigitalOcean 的 ceph_exporter，ceph_exporter 使用 go 语言编写的，所以需要先安装 go 语言环境。还是一条命令解决：

$ sudo apt install -y golang
安装好后执行 $ go env 命令验证并查看一下 go 环境信息。

$ go env
GOARCH="amd64"
GOBIN=""
GOEXE=""
GOHOSTARCH="amd64"
GOHOSTOS="linux"
GOOS="linux"
GOPATH=""
GORACE=""
GOROOT="/usr/lib/go-1.6"
GOTOOLDIR="/usr/lib/go-1.6/pkg/tool/linux_amd64"
GO15VENDOREXPERIMENT="1"
CC="gcc"
GOGCCFLAGS="-fPIC -m64 -pthread -fmessage-length=0"
CXX="g++"
CGO_ENABLED="1"
然后需要设置 Go 环境变量：

$ cat /etc/profile.d/go.sh
export GOROOT=/usr/lib/go-1.6
export GOBIN=$GOROOT/bin
export GOPATH=/home//go
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin

$ source /etc/profile.d/go.sh
已经配置好 Go 环境了，接下来创建 GOPATH 指定的目录：

$ mkdir /home//go
2.2 安装 ceph_exporter
Go 环境安装好后，我们接下来下载 ceph_exporter 代码，然后编译出可执行程序。

$ mkdir -p /home//go/src/github.com/digitalocean
$ cd /home//go/github.com/src/digitalocean
$ git clone https://github.com/digitalocean/ceph_exporter
$ cd ceph_exporter
$ go build
这时编译会报错，原因是需要依赖 ceph rados 相关的头文件，需要安装 librados-dev 包。

$ sudo apt install -y librados-dev
安装好后，在编译，复制可执行文件到对应目录完成安装。
再运行 go build 完成安装。

$ go get
$ go build
$ mkdir /home//go/bin
$ cp ceph_exporter /home//go/bin
执行 ceph_exporter 来验证一下是否可以正常使用

$ ceph_exporter --help
Usage of ceph_exporter:
-ceph.config string

    path to ceph config file

-ceph.user string

    Ceph user to connect to cluster. (default "admin")

-exporter.config string

    Path to ceph exporter config. (default "/etc/ceph/exporter.yml")

-rgw.mode int

    Enable collection of stats from RGW (0:disabled 1:enabled 2:background)

-telemetry.addr string

    host:port for ceph exporter (default ":9128")

-telemetry.path string

    URL path for surfacing collected metrics (default "/metrics")

接下来要配置 ceph_exporter 的自动启动：

$ cat /lib/systemd/system/ceph_exporter.service
[Unit]
Description=Prometheus's ceph metrics exporter
After=prometheus.ervice

[Service]
User=
Group=
ExecStart=/home//go/bin/ceph_exporter

[Install]
WantedBy=multi-user.target
Alias=ceph_exporter.service

$ sudo systemctl daemon-reload
$ sudo systemctl enable ceph_exporter.service
$ sudo systemctl start ceph_exporter.service
2.3 修改 Promethues 配置
接下来需要修改 Prometheus 的配置，添加一会要安装的 ceph_exporter 的相关信息：

$ sudo vim /etc/prometheus/prometheus.yml
...
scrape_configs:

  • job_name: 'ceph_exporter'
    static_configs:

    • targets: ['localhost:9128']
      labels:

      alias: ceph_exporter

      ...

改好后，重启：

$ sudo systemctl restart prometheus.service

  1. 安装 Grafana
    3.1 安装

Grafana 也不推荐使用 APT 安装，原因也是版本太低，安装官方打包好的版本是更优的选择。

$ sudo apt-get install -y adduser libfontconfig
$ wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana_5.2.4_amd64.deb
$ sudo dpkg -i grafana_5.2.4_amd64.deb
$ sudo systemctl enable grafana-server
$ sudo systemctl start grafana-server
至此 Grafana 也已经安装好了，接下来登录 grafana 界面。

3.2 配置 dashboard
Grafana

访问 http://localhost:3000 来登录 Grafana，默认用户为 admin，密码也是 admin。

data-source

登录后首先需要配置 data source，访问地址 http://localhost:3000/datasources，会出现如上图所示的界面，按照图中显示的信息配置即可。

import

最后需要导入 Ceph 相关的界面，如图所示，导入的是编号为 917 的 dashboard（从 grafana.com 上，导入编号为 917 的 dashboard）。

ceph-cluster

完成后，终于可以看到 Ceph 的监控信息了。

  1. 告警系统
    现在已经有了图形化界面的状态监控，但出现紧急情况我们肯定不希望要登录到界面上才能察觉到，在 Prometheus 系统中，这个工作由 AlertManager 组件负责，接下来我们就以钉钉消息通知为例，看一下如何配置告警系统。

4.1 安装 AlertManager
AlertManager 的安装流程和 Prometheus 很像，也是需要下载对应的安装包。

$ wget https://github.com/prometheus/alertmanager/releases/download/v0.15.2/alertmanager-0.15.2.linux-amd64.tar.gz
$ tar zxvf alertmanager-0.15.2.linux-amd64.tar.gz
$ cd alertmanager-0.15.2.linux-amd64
$ sudo cp alertmanager amtool /usr/bin/
$ sudo cp alertmanager.yml /etc/prometheus/
接下来配置 systemd 的 unit 文件。

$ cat /lib/systemd/system/alertmanager.service
[Unit]
Description=Prometheus: the alerting system
Documentation=http://prometheus.io/docs/
After=prometheus.service

[Service]
ExecStart=/usr/bin/alertmanager --config.file=/etc/prometheus/alertmanager.yml
Restart=always
StartLimitInterval=0
RestartSec=10

[Install]
WantedBy=multi-user.target
启动 alermanager 服务，并配置开机启动。

$ sudo systemctl enable alertmanager.service
$ sudo systemctl start alertmanager.service
在 Prometheus 中添加 AlertManager 的信息，并重启 Prometheus。

$ cat /etc/prometheus/prometheus.yml
...
alerting:
alertmanagers:

- static_configs:
  - targets: ["localhost:9093"]

$ sudo systemctl restart prometheus.service
4.2 获取钉钉的 webhook
要往钉钉发消息，当然要先知道 webhook 是多少，首先是在钉钉群里添加一个机器人，然后查看机器人的设置，就可以看到 webhook：

Dingtalk robot API

4.3 配置消息转发的 API
配置 Prometheus 直接向钉钉 Webhook 发消息应该是发不过去的，Prometheus 的消息格式和钉钉 webhook 并不兼容，而且就算是拿到消息中的字符串再发过去，没经过格式化的消息也太难看了。截个未经处理的钉钉消息的图给大家感受一下：

Unformatted prometheus message

所以我们需要配置一个转发并格式化 Prometheus 消息的 API 服务器，在网上搜了一下还真的找到一个已经做好的格式化 Prometheus 消息的开源项目，完全满足需求：https://github.com/timonwong/prometheus-webhook-dingtalk，感谢 Timon Wong 的贡献。接下来介绍一下如何以 Docker 形式部署该 API 服务。

4.3.1 安装 Docker
首先当然是要先安装 Docker ，并配置 Docker 从国内镜像源下载镜像。

$ sudo apt install -y docker.io
$ sudo vim /etc/docker/daemon.json
{
"registry-mirrors": ["https://registry.docker-cn.com"]
}
$ sudo systemctl restart docker.service
4.3.2 启动 prometheus-webhook-dingtalk
先下载镜像。

$ sudo docker pull timonwong/prometheus-webhook-dingtalk:v0.3.0
启动镜像。
这里解释一下两个变量：

：prometheus-webhook-dingtalk 支持多个钉钉 webhook，不同 webhook 就是靠名字对应到 URL 来做映射的。要支持多个钉钉 webhook，可以用多个 --ding.profile 参数的方式支持，例如：sudo docker run -d --restart always -p 8060:8060 timonwong/prometheus-webhook-dingtalk:v0.3.0 --ding.profile="webhook1=https://oapi.dingtalk.com/robot/send?access_token=token1" --ding.profile="webhook2=https://oapi.dingtalk.com/robot/send?access_token=token2"。而名字和 URL 的对应规则如下，ding.profile="webhook1=......"，对应的 API URL 为：http://localhost:8060/dingtalk/webhook1/send
：这个就是之前获取的钉钉 webhook。
$ sudo docker run -d --restart always -p 8060:8060 timonwong/prometheus-webhook-dingtalk:v0.3.0 --ding.profile="="
4.4 配置 AlertManager 告警规则
首先修改 alertmanager.yml，在下面这个例子中指定了名为 web.hook 的消息接收方，url 为刚刚启动的 prometheus-webhook-dingtalk 的地址。

$ cat /etc/prometheus/alertmanager.yml
global:
resolve_timeout: 5m

route:
group_by: ['alertname']
group_wait: 10s
group_interval: 10s
repeat_interval: 1h
receiver: 'web.hook'
receivers:

  • name: 'web.hook'
    webhook_configs:

    然后修改 /etc/prometheus/prometheus.yml，添加告警规则文件。

$ cat /etc/prometheus/prometheus.yml
......
rule_files:

- /etc/prometheus/rules/ceph.yaml

接下来轮到刚刚提到的告警规则文件了，下面这个例子中定义了在 ceph 可用存储空间小于总存储空间 70% 的情况下，发出告警消息。

$ cat /etc/prometheus/rules/ceph.yaml
groups:

  • name: ceph-rule
    rules:

    • alert: CephCapacityUsage
      expr: ceph_cluster_available_bytes / ceph_cluster_capacity_bytes * 100 > 70

    for: 2m
    labels:

    product: ceph

    annotations:

    summary: "{{$labels.instance}}: Not enough capacity in Ceph detected"
description: "{{$labels.instance}}: Available capacity is used up to 70% (current value is: {{ $value }}"

    好了，最后重启 AlertManager 和 Prometheus 就大功告成了。

$ sudo systemctl restart alertmanager.service
$ sudo systemctl restart prometheus.service
最后我们来看看发出来的消息效果如何，确实比之前好看多了，总算是没有白费一番功夫。

formatted prometheus message

文章标签：
可观测可视化 Grafana 版
可观测监控 Prometheus 版
Cloud Native
Prometheus
Go
监控
开发工具
容器
Linux
机器人
Docker
API
相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
银河国际
目录
相关文章
尹正杰
|
2月前
|
Prometheus 监控 Cloud Native
prometheus监控ceph集群环境
文章介绍了如何使用Prometheus监控Ceph集群环境，包括启用Prometheus模块、验证模块启用成功、访问Ceph的exporter、修改Prometheus配置文件、热加载配置，以及Grafana采集数据的方法。同时，还涵盖了监控Ceph集群宿主机的步骤，如在所有节点安装node-exporter、修改Prometheus配置文件、热加载配置，以及Grafana采集数据。
尹正杰
168 6
尹正杰
|
2月前
|
Prometheus 监控 Cloud Native
Ceph Reef(18.2.X)的内置Prometheus监控集群
这篇文章是关于Ceph Reef(18.2.X)版本中内置Prometheus监控集群的使用方法，包括如何查看集群架构、访问Prometheus、Grafana、Node-Exporter和Alertmanager的Web界面，以及推荐阅读的自实现Prometheus监控资源链接。
尹正杰
71 2
terry.zeng
|
关系型数据库 块存储
ceph 故障分析(backfill_toofull)
在执行了 ceph 扩容之前, 发现长时间内都具有下面的状态存在 参考下面信息 # ceph -s cluster dc4f91c1-8792-4948-b68f-2fcea75f53b9 health HEALTH_WARN 13 pgs backfill_toofull; 1 pgs degraded; 1 pgs stuck degraded
terry.zeng
7143 0
尹正杰
|
2月前
|
存储 块存储
Ceph Reef(18.2.X)集群的OSD管理基础及OSD节点扩缩容
这篇文章是关于Ceph Reef(18.2.X)集群的OSD管理基础及OSD节点扩缩容的详细教程，涵盖了OSD的基础操作、节点缩容的步骤和实战案例以及OSD节点扩容的基本流程和实战案例。
尹正杰
110 6
尹正杰
|
2月前
|
块存储
ceph集群的OSD设备扩缩容实战指南
这篇文章详细介绍了Ceph集群中OSD设备的扩容和缩容过程，包括如何添加新的OSD设备、如何准备和部署，以及如何安全地移除OSD设备并从Crushmap中清除相关配置。
尹正杰
217 4
catgod007
|
域名解析 存储 块存储
ceph集群的搭建
ceph集群的搭建
catgod007
372 1
catgod007
|
块存储
ceph集群的搭建(下）
ceph集群的搭建
catgod007
161 0
运维开发故事
|
存储 关系型数据库 网络安全
手动部署ceph octopus集群
手动部署ceph octopus集群
运维开发故事
560 0
手动部署ceph octopus集群
天飞.h
|
监控
glusterfs 监控
这里以监控gv_KVM这个卷为例 １.启动 Profiling [root@192_168_174_68 ~]# gluster gluster> volume profile gv_KVM start Starting volume profile on gv_KVM has been successful ２.
天飞.h
1681 0
goodlife
|
监控 网络安全 开发工具
ceph部署
初次部署ceph，走了很多弯路，特别是ceph网站提供的yum源，有些问题安装总是出错，总结下此次安装成功的步骤，留个脚印！
goodlife
11048 0