使用Prometheus监控kubernetes集群

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
可观测可视化 Grafana 版,10个用户账号 1个月
可观测监控 Prometheus 版,每月50GB免费额度
简介: 一键安装(网络可访问quay.io): kubectl apply --filename https://raw.githubusercontent.com/giantswarm/kubernetes-prometheus/master/manifests-all.

一键安装(网络可访问quay.io):

kubectl apply --filename https://raw.githubusercontent.com/giantswarm/kubernetes-prometheus/master/manifests-all.yaml

操作面板(到https://github.com/giantswarm/kubernetes-prometheus下载文件):

kubectl apply --filename ./manifests/grafana/import-dashboards/job.yaml

国内:

我们使用 Giantswarm 开源的 kubernetes-promethues 来监控 kubernetes 集群,所有 的 YAML 文件可以在 ../manifests/prometheus 目录下找到。

需要用到的镜像有:

  • sz-pg-oam-docker-hub-001.tendcloud.com/library/prometheus-alertmanager:v0.7.1
  • sz-pg-oam-docker-hub-001.tendcloud.com/library/grafana:4.2.0
  • sz-pg-oam-docker-hub-001.tendcloud.com/library/giantswarm-tiny-tools:latest
  • sz-pg-oam-docker-hub-001.tendcloud.com/library/prom-prometheus:v1.7.0
  • sz-pg-oam-docker-hub-001.tendcloud.com/library/kube-state-metrics:v1.0.1
  • sz-pg-oam-docker-hub-001.tendcloud.com/library/dockermuenster-caddy:0.9.3
  • sz-pg-oam-docker-hub-001.tendcloud.com/library/prom-node-exporter:v0.14.0

同时备份到时速云:

  • index.tenxcloud.com/jimmy/prometheus-alertmanager:v0.7.1
  • index.tenxcloud.com/jimmy/grafana:4.2.0
  • index.tenxcloud.com/jimmy/giantswarm-tiny-tools:latest
  • index.tenxcloud.com/jimmy/prom-prometheus:v1.7.0
  • index.tenxcloud.com/jimmy/kube-state-metrics:v1.0.1
  • index.tenxcloud.com/jimmy/dockermuenster-caddy:0.9.3
  • index.tenxcloud.com/jimmy/prom-node-exporter:v0.14.0

:所有镜像都是从官方镜像仓库下载下。

部署

我将部署时需要用的的配置文件分成了 namespace、serviceaccount、configmaps、clusterrolebinding 和最后的部署 prometheus、grafana 的过程。

## 创建 monitoring namespaece
kubectl create -f prometheus-monitoring-ns.yaml
## 创建 serviceaccount
kubectl create -f prometheus-monitoring-serviceaccount.yaml
## 创建 configmaps
kubectl create -f prometheus-configmaps.yaml
## 创建 clusterrolebinding
kubectl create clusterrolebinding kube-state-metrics --clusterrole=cluster-admin --serviceaccount=monitoring:kube-state-metrics
kubectl create clusterrolebinding prometheus --clusterrole=cluster-admin --serviceaccount=monitoring:prometheus
## 部署 Prometheus
kubectl create -f prometheus-monitoring.yaml

访问 kubernetes 任何一个 node 上的 Grafana service 的 nodeport:

Grafana页面

图片 - Grafana页面

该图中的数据显示明显有问题,还需要修正。

prometheus-monitoring.yaml 文件中有一个 Job 就是用来导入 grafana dashboard 配置信息的,如果该 Job 执行失败,可以单独在在 monitoring 的 namespace 中启动一个容器,将 manifests/prometheus 目录下的 json 文件复制到容器中,然后进入容器 json 文件的目录下执行:

 for file in *-datasource.json ; do if [ -e "$file" ] ; then echo "importing $file" &&
 curl --silent --fail --show-error \
 --request POST http://admin:admin@grafana:3000/api/datasources \
 --header "Content-Type: application/json" \
 --data-binary "@$file" ;
 echo "" ;
 fi done ;
 for file in *-dashboard.json ; do if [ -e "$file" ] ; then echo "importing $file" &&
 ( echo '{"dashboard":'; \
 cat "$file"; \
 echo ',"overwrite":true,"inputs":[{"name":"DS_PROMETHEUS","type":"datasource","pluginId":"prometheus","value":"prometheus"}]}' ) \
 | jq -c '.' \
 | curl --silent --fail --show-error \
 --request POST http://admin:admin@grafana:3000/api/dashboards/import \
 --header "Content-Type: application/json" \
 --data-binary "@-" ;
 echo "" ;
 fi done 

这样也可以向 grafana 中导入 dashboard。

存在的问题

该项目的代码中存在几个问题。

1. RBAC 角色授权问题

需要用到两个 clusterrolebinding:

  • kube-state-metrics,对应的serviceaccountkube-state-metrics
  • prometheus,对应的 serviceaccountprometheus-k8s

在部署 Prometheus 之前应该先创建 serviceaccount、clusterrole、clusterrolebinding 等对象,否则在安装过程中可能因为权限问题而导致各种错误,所以这些配置应该写在一个单独的文件中,而不应该跟其他部署写在一起,即使要写在一个文件中,也应该写在文件的最前面,因为使用 kubectl 部署的时候,kubectl 不会判断 YAML 文件中的资源依赖关系,只是简单的从头部开始执行部署,因此写在文件前面的对象会先部署。

解决方法

也可以绕过复杂的 RBAC 设置,直接使用下面的命令将对应的 serviceaccount 设置成 admin 权限,如下:

kubectl create clusterrolebinding kube-state-metrics --clusterrole=cluster-admin --serviceaccount=monitoring:kube-state-metrics
kubectl create clusterrolebinding prometheus --clusterrole=cluster-admin --serviceaccount=monitoring:prometheus 

参考 RBAC——基于角色的访问控制

2. API 兼容问题

kube-state-metrics 日志中可以看出用户 kube-state-metrics 没有权限访问如下资源类型:

  • *v1.Job
  • *v1.PersistentVolumeClaim
  • *v1beta1.StatefulSet
  • *v2alpha1.CronJob

而在我们使用的 kubernetes 1.6.0 版本的集群中 API 路径跟 kube-state-metrics 中不同,无法 list 以上三种资源对象的资源。详情见:https://github.com/giantswarm/kubernetes-prometheus/issues/77

3. Job 中的权限认证问题

grafana-import-dashboards 这个 job 中有个 init-containers 其中指定的 command 执行错误,应该使用

curl -sX GET -H "Authorization:bearer `cat /var/run/secrets/kubernetes.io/serviceaccount/token`" -k https://kubernetes.default/api/v1/namespaces/monitoring/endpoints/grafana

不需要指定 csr 文件,只需要 token 即可。

参考 wait-for-endpoints init-containers fails to load with k8s 1.6.0 #56

本文转自开源中国-使用Prometheus监控kubernetes集群

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
20天前
|
Prometheus Kubernetes 监控
k8s部署针对外部服务器的prometheus服务
通过上述步骤,您不仅成功地在Kubernetes集群内部署了Prometheus,还实现了对集群外服务器的有效监控。理解并实施网络配置是关键,确保监控数据的准确无误传输。随着监控需求的增长,您还可以进一步探索Prometheus生态中的其他组件,如Alertmanager、Grafana等,以构建完整的监控与报警体系。
109 60
|
21天前
|
Prometheus Kubernetes 监控
k8s部署针对外部服务器的prometheus服务
通过上述步骤,您不仅成功地在Kubernetes集群内部署了Prometheus,还实现了对集群外服务器的有效监控。理解并实施网络配置是关键,确保监控数据的准确无误传输。随着监控需求的增长,您还可以进一步探索Prometheus生态中的其他组件,如Alertmanager、Grafana等,以构建完整的监控与报警体系。
126 62
|
5天前
|
JSON Kubernetes 容灾
ACK One应用分发上线:高效管理多集群应用
ACK One应用分发上线,主要介绍了新能力的使用场景
|
6天前
|
Kubernetes 持续交付 开发工具
ACK One GitOps:ApplicationSet UI简化多集群GitOps应用管理
ACK One GitOps新发布了多集群应用控制台,支持管理Argo CD ApplicationSet,提升大规模应用和集群的多集群GitOps应用分发管理体验。
|
21天前
|
Kubernetes 应用服务中间件 nginx
搭建Kubernetes v1.31.1服务器集群,采用Calico网络技术
在阿里云服务器上部署k8s集群,一、3台k8s服务器,1个Master节点,2个工作节点,采用Calico网络技术。二、部署nginx服务到k8s集群,并验证nginx服务运行状态。
243 1
|
26天前
|
Kubernetes Cloud Native 微服务
微服务实践之使用 kube-vip 搭建高可用 Kubernetes 集群
微服务实践之使用 kube-vip 搭建高可用 Kubernetes 集群
78 1
|
26天前
|
负载均衡 应用服务中间件 nginx
基于Ubuntu-22.04安装K8s-v1.28.2实验(二)使用kube-vip实现集群VIP访问
基于Ubuntu-22.04安装K8s-v1.28.2实验(二)使用kube-vip实现集群VIP访问
46 1
|
17天前
|
Kubernetes Ubuntu Linux
Centos7 搭建 kubernetes集群
本文介绍了如何搭建一个三节点的Kubernetes集群,包括一个主节点和两个工作节点。各节点运行CentOS 7系统,最低配置为2核CPU、2GB内存和15GB硬盘。详细步骤包括环境配置、安装Docker、关闭防火墙和SELinux、禁用交换分区、安装kubeadm、kubelet、kubectl,以及初始化Kubernetes集群和安装网络插件Calico或Flannel。
|
23天前
|
Kubernetes Cloud Native 流计算
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
61 0
|
24天前
|
弹性计算 Kubernetes Linux
如何使用minikube搭建k8s集群
如何使用minikube搭建k8s集群