AI 助理
文档备案控制台
开发者社区 开发与运维 文章 正文

Prometheus + Grafana on k8s部署

2022-11-29 1935
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Prometheus + Grafana on k8s部署

一键部署链接 点我跳转

使用k8s方式部署Prometheus + grafana 监控pod 和 node 节点信息


环境基础：

k8s集群

创建命名空间方便管理

kubectl create namespace monitoring


3个组件

1.数据源pod（任选其一,推荐kube-state-metrics方式 更详细）

node节点基础数据，cpu，io，内存，磁盘，网络等

偏向使用DaemonSet部署的node-exporter


- node-exporter.yaml

一键部署默认是这种pod

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: node-exporter
  namespace: monitoring
  labels:
    k8s-app: node-exporter
spec:
  selector:
    matchLabels:
      k8s-app: node-exporter
  template:
    metadata:
      labels:
        k8s-app: node-exporter
    spec:
      containers:
      - image: prom/node-exporter:v1.0.1
        name: node-exporter
        ports:
        - containerPort: 9100
          protocol: TCP
          name: http
---
apiVersion: v1
kind: Service
metadata:
  labels:
    k8s-app: node-exporter
  name: node-exporter
  namespace: monitoring
spec:
  ports:
 - name: http
    port: 9100
    nodePort: 31672
    protocol: TCP
  type: NodePort
  selector:
    k8s-app: node-exporter


更为详细的k8s内部信息，pod，svc，namespace，等集群信息

推荐deployment部署kube-state-metrics方式

项目地址 点我跳转


本次实验使用这种模式


- kube-state-metrics.yaml

包含ClusterRoleBinding-ClusterRole-sa-svc-dep 一系列资源创建作用是收集集群数据，所以不用在同一个namespace。

kubectl create ns ops-monit
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  labels:
    app.kubernetes.io/name: kube-state-metrics
    app.kubernetes.io/version: v1.9.7
  name: kube-state-metrics
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: kube-state-metrics
subjects:
- kind: ServiceAccount
  name: kube-state-metrics
  namespace: ops-monit
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  labels:
    app.kubernetes.io/name: kube-state-metrics
    app.kubernetes.io/version: v1.9.7
  name: kube-state-metrics
rules:
- apiGroups:
  - ""
  resources:
  - configmaps
  - secrets
  - nodes
  - pods
  - services
  - resourcequotas
  - replicationcontrollers
  - limitranges
  - persistentvolumeclaims
  - persistentvolumes
  - namespaces
  - endpoints
  verbs:
  - list
  - watch
- apiGroups:
  - extensions
  resources:
  - daemonsets
  - deployments
  - replicasets
  - ingresses
  verbs:
  - list
  - watch
- apiGroups:
  - apps
  resources:
  - statefulsets
  - daemonsets
  - deployments
  - replicasets
  verbs:
  - list
  - watch
- apiGroups:
  - batch
  resources:
  - cronjobs
  - jobs
  verbs:
  - list
  - watch
- apiGroups:
  - autoscaling
  resources:
  - horizontalpodautoscalers
  verbs:
  - list
  - watch
- apiGroups:
  - authentication.k8s.io
  resources:
  - tokenreviews
  verbs:
  - create
- apiGroups:
  - authorization.k8s.io
  resources:
  - subjectaccessreviews
  verbs:
  - create
- apiGroups:
  - policy
  resources:
  - poddisruptionbudgets
  verbs:
  - list
  - watch
- apiGroups:
  - certificates.k8s.io
  resources:
  - certificatesigningrequests
  verbs:
  - list
  - watch
- apiGroups:
  - storage.k8s.io
  resources:
  - storageclasses
  - volumeattachments
  verbs:
  - list
  - watch
- apiGroups:
  - admissionregistration.k8s.io
  resources:
  - mutatingwebhookconfigurations
  - validatingwebhookconfigurations
  verbs:
  - list
  - watch
- apiGroups:
  - networking.k8s.io
  resources:
  - networkpolicies
  verbs:
  - list
  - watch
---
apiVersion: v1
kind: ServiceAccount
metadata:
  labels:
    app.kubernetes.io/name: kube-state-metrics
    app.kubernetes.io/version: v1.9.7
  name: kube-state-metrics
  namespace: ops-monit
---
apiVersion: v1
kind: Service
metadata:
#  annotations:
#    prometheus.io/scrape: 'true'
  labels:
    app.kubernetes.io/name: kube-state-metrics
    app.kubernetes.io/version: v1.9.7
  name: kube-state-metrics
  namespace: ops-monit
spec:
  clusterIP: None
  ports:
  - name: http-metrics
    port: 8080
    targetPort: http-metrics
  - name: telemetry
    port: 8081
    targetPort: telemetry
  selector:
    app.kubernetes.io/name: kube-state-metrics
---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app.kubernetes.io/name: kube-state-metrics
    app.kubernetes.io/version: v1.9.7
  name: kube-state-metrics
  namespace: ops-monit
spec:
  replicas: 1
  selector:
    matchLabels:
      app.kubernetes.io/name: kube-state-metrics
  template:
    metadata:
      labels:
        app.kubernetes.io/name: kube-state-metrics
        app.kubernetes.io/version: v1.9.7
    spec:
      containers:
      - image: quay.mirrors.ustc.edu.cn/coreos/kube-state-metrics:v1.9.7
        livenessProbe:
          httpGet:
            path: /healthz
            port: 8080
          initialDelaySeconds: 5
          timeoutSeconds: 5
        name: kube-state-metrics
        ports:
        - containerPort: 8080
          name: http-metrics
        - containerPort: 8081
          name: telemetry
        readinessProbe:
          httpGet:
            path: /
            port: 8081
          initialDelaySeconds: 5
          timeoutSeconds: 5
      nodeSelector:
        beta.kubernetes.io/os: linux
      serviceAccountName: kube-state-metrics


2.Prometheus相关

rbac-setup.yaml

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: prometheus
rules:
- apiGroups: [""]
  resources:
  - nodes
  - nodes/proxy
  - services
  - endpoints
  - pods
  verbs: ["get", "list", "watch"]
- apiGroups:
  - extensions
  resources:
  - ingresses
  verbs: ["get", "list", "watch"]
- nonResourceURLs: ["/metrics"]
  verbs: ["get"]
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: prometheus
  namespace: monitoring
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: prometheus
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: prometheus
subjects:
- kind: ServiceAccount
  name: prometheus
  namespace: monitoring


configmap.yaml

用与重新定义收集到的数据源提供给grafan展现

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-config
  namespace: monitoring
data:
  prometheus.yml: |
    global:
      scrape_interval:     15s
      evaluation_interval: 15s
    scrape_configs:
    - job_name: 'k8s-cadvisor'
      metrics_path: /metrics/cadvisor
      kubernetes_sd_configs:
      - role: node
      relabel_configs:
      - source_labels: [__address__]
        regex: '(.*):10250'
        replacement: '${1}:10255'
        target_label: __address__
        action: replace
      - action: labelmap
        regex: __meta_kubernetes_node_label_(.+)
      metric_relabel_configs:
      - source_labels: [instance]
        separator: ;
        regex: (.+)
        target_label: node
        replacement: $1
        action: replace
      - source_labels: [pod_name]
        separator: ;
        regex: (.+)
        target_label: pod
        replacement: $1
        action: replace
      - source_labels: [container_name]
        separator: ;
        regex: (.+)
        target_label: container
        replacement: $1
        action: replace
    - job_name: kube-state-metrics
      kubernetes_sd_configs:
      - role: endpoints
        namespaces:
          names:
          - ops-monit
      relabel_configs:
      - source_labels: [__meta_kubernetes_service_label_app_kubernetes_io_name]
        regex: kube-state-metrics
        replacement: $1
        action: keep
      - action: labelmap
        regex: __meta_kubernetes_service_label_(.+)
      - source_labels: [__meta_kubernetes_namespace]
        action: replace
        target_label: k8s_namespace
      - source_labels: [__meta_kubernetes_service_name]
        action: replace
        target_label: k8s_sname


prometheus-deploy.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    name: prometheus-deployment
  name: prometheus
  namespace: monitoring
spec:
  replicas: 1
  selector:
    matchLabels:
      app: prometheus
  template:
    metadata:
      labels:
        app: prometheus
    spec:
      containers:
      - image: prom/prometheus:v2.7.1
        name: prometheus
        command:
        - "/bin/prometheus"
        args:
        - "--config.file=/etc/prometheus/prometheus.yml"
        - "--storage.tsdb.path=/prometheus"
        - "--storage.tsdb.retention=24h"
        ports:
        - containerPort: 9090
          protocol: TCP
        volumeMounts:
        - mountPath: "/prometheus"
          name: data
        - mountPath: "/etc/prometheus"
          name: config-volume
        resources:
          requests:
            cpu: 100m
            memory: 100Mi
          limits:
            cpu: 500m
            memory: 2500Mi
      serviceAccountName: prometheus    
      volumes:
      - name: data
        emptyDir: {}
      - name: config-volume
        configMap:
          name: prometheus-config
---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: prometheus
  name: prometheus
  namespace: monitoring
spec:
  type: NodePort
  ports:
  - port: 9090
    targetPort: 9090
    nodePort: 30003
  selector:
    app: prometheus


3.grafana 部署 （两种方式,任选其一 k8s-dep部署 or docker-compose部署）

docker-compose部署

version: '3'
services:
  grafana:
    image: grafana/grafana                                       # 原镜像`grafana/grafana`
    container_name: grafana                                      # 容器名为'grafana'
    restart: always                                              # 指定容器退出后的重启策略为始终重启
    volumes:                                                     # 数据卷挂载路径设置,将本机目录映射到容器目录
      - "./data:/var/lib/grafana"
      - "./log:/var/log/grafana"
    ports:                              # 映射端口
      - "3000:3000"


k8s-dep方式

grafana.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: grafana-dep
  namespace: monitoring
spec:
  replicas: 1
  selector:
    matchLabels:
      app: grafana-dep
  template:
    metadata:
      labels:
        app: grafana-dep
    spec:
      containers:
      - image: grafana/grafana
        imagePullPolicy: Always
        #command:
        #  - "tail"
        #  - "-f"
        #  - "/dev/null"
        securityContext:
          allowPrivilegeEscalation: false
          runAsUser: 0
        name: grafana
        ports:
        - containerPort: 3000
          protocol: TCP
        volumeMounts:
        - mountPath: "/var/lib/grafana"
          name: data
        resources:
          requests:
            cpu: 100m
            memory: 100Mi
          limits:
            cpu: 500m
            memory: 2500Mi
      volumes:
      - name: data
        emptyDir: {}
---
apiVersion: v1
kind: Service
metadata:
  name: grafana
  namespace: monitoring
spec:
  type: NodePort
  ports:
  - port: 80
    targetPort: 3000
    nodePort: 30006
  selector:
    app: grafana-dep


执行yaml文件

kubectl create -f xxx.yaml

查看相关资源状态


kubectl get all -n ops-monit ##查看kube-state-metrics服务

kubectl get all -n monitoring ##查看监控相关

相关地址：

http://:30003 ##Prometheus地址第一步查看是否有数据源

http://192.168.17.130:30006/ ##grafana地址 默认密码admin/addmin


开始配置grafana

添加数据源

添加上面的ip:30003端口

导入grafan模板

地址 点我跳转

13105 官网 Dashboard-id


最后效果展示


文章标签：
容器服务Kubernetes版
可观测可视化 Grafana 版
可观测监控 Prometheus 版
Perl
容器
Cloud Native
监控
数据安全/隐私保护
Kubernetes
Prometheus
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中，我们将全面的讲解Docker技术栈，从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
大鹅i
目录
相关文章
蓝易云
|
Prometheus Kubernetes 监控
Kubernetes监控：Prometheus与AlertManager结合，配置邮件告警。
完成这些步骤之后，您就拥有了一个可以用邮件通知你的Kubernetes监控解决方案了。当然，所有的这些配置都需要相互照应，还要对你的Kubernetes集群状况有深入的了解。希望这份指南能帮助你创建出适合自己场景的监控系统，让你在首次发现问题时就能做出响应。
蓝易云
939 22
开航母的李大
|
Prometheus 监控 Cloud Native
Prometheus+Grafana(docker安装)
本文档详细介绍了如何使用Docker容器快速部署Prometheus监控系统和Grafana数据可视化平台。该方案适用于需要快速搭建监控环境的开发测试场景，具备部署简单、资源占用低、易于维护等特点。
开航母的李大
2256 6
小陈运维
|
存储 数据采集 Prometheus
Grafana Prometheus Altermanager 监控系统
Grafana、Prometheus 和 Alertmanager 是一套强大的开源监控系统组合。Prometheus 负责数据采集与存储，Alertmanager 处理告警通知，Grafana 提供可视化界面。本文简要介绍了这套系统的安装配置流程，包括各组件的下载、安装、服务配置及开机自启设置，并提供了访问地址和重启命令。适用于希望快速搭建高效监控平台的用户。
小陈运维
1295 20
蓝易云
|
Prometheus 监控 Cloud Native
Prometheus+Grafana监控Linux主机
通过本文的步骤，我们成功地在 Linux 主机上使用 Prometheus 和 Grafana 进行了监控配置。具体包括安装 Prometheus 和 Node Exporter，配置 Grafana 数据源，并导入预设的仪表盘来展示监控数据。通过这种方式，可以轻松实现对 Linux 主机的系统指标监控，帮助及时发现和处理潜在问题。
蓝易云
1688 7
栈江湖
|
Prometheus 运维 监控
Prometheus+Grafana+NodeExporter：构建出色的Linux监控解决方案，让你的运维更轻松
本文介绍如何使用 Prometheus + Grafana + Node Exporter 搭建 Linux 主机监控系统。Prometheus 负责收集和存储指标数据，Grafana 用于可视化展示，Node Exporter 则采集主机的性能数据。通过 Docker 容器化部署，简化安装配置过程。完成安装后，配置 Prometheus 抓取节点数据，并在 Grafana 中添加数据源及导入仪表盘模板，实现对 Linux 主机的全面监控。整个过程简单易行，帮助运维人员轻松掌握系统状态。
栈江湖
2657 3
栈江湖
|
Prometheus 监控 前端开发
Grafana 安装配置教程，让你的 Prometheus 监控数据变得更美观
《Grafana安装配置教程，让你的Prometheus监控数据变得更美观》简介： Grafana是一个开源的度量分析与可视化工具，支持多种数据源（如Prometheus），提供丰富的可视化功能和警报机制。本文详细介绍了Grafana的安装、汉化方法及模板使用，帮助用户轻松创建美观、灵活的数据面板，并实现数据的协作与共享。通过Docker镜像、配置文件修改或替换前端页面等方式实现汉化，让用户更便捷地使用中文界面。此外，还提供了导入JSON格式模板的具体步骤，方便快速搭建仪表盘。
栈江湖
3526 2
栈江湖
|
Prometheus Cloud Native Linux
Prometheus+Grafana新手友好教程：从零开始搭建轻松掌握强大的警报系统
本文介绍了使用 Prometheus 和 Grafana 实现邮件报警的方案，包括三种主要方法：1) 使用 Prometheus 的 Alertmanager 组件；2) 使用 Grafana 的内置告警通知功能；3) 使用第三方告警组件如 OneAlert。同时，详细描述了环境准备、Grafana 安装配置及预警设置的步骤，确保用户能够成功搭建并测试邮件报警功能。通过这些配置，用户可以在系统或应用出现异常时及时收到邮件通知，保障系统的稳定运行。
栈江湖
2591 1
程序员成长之路
|
Prometheus 监控 Cloud Native
云原生监控实战：Prometheus+Grafana快速搭建指南
云原生监控实战：Prometheus+Grafana快速搭建指南
程序员成长之路
1399 85
大熊计算机
|
存储 Prometheus 监控
OSS监控体系搭建：Prometheus+Grafana实时监控流量、错误码、存储量（开源方案替代云监控自定义视图）
本方案基于Prometheus构建OSS监控系统，涵盖架构设计、指标采集、可视化、告警及性能优化，助力企业实现高可用、低成本的自建监控体系。
大熊计算机
1200 1
sunyalei
|
Prometheus 监控 Cloud Native
除了Prometheus，还有哪些工具可以监控Docker Swarm集群的资源使用情况？
除了Prometheus，还有哪些工具可以监控Docker Swarm集群的资源使用情况？
sunyalei
1065 79

热门文章

最新文章

  • 1
    高性能、高可用、免运维-云原生Prometheus方案与实践
  • 2
    prometheus operator告警规则（一）：你的cpu够用吗？
  • 3
    部署 Prometheus Operator - 每天5分钟玩转 Docker 容器技术（179）
  • 4
    Prometheus 由于时间不同步导致数据不显示
  • 5
    搭建服务端性能监控系统 Prometheus 详细指南
  • 6
    【2023】Prometheus-Alertmanager高可用集群
  • 7
    在 HBase 集群中，Prometheus 通常监控哪些类型的性能指标？
  • 8
    prometheus学习笔记之cAdvisor
  • 9
    深入解析Prometheus监控技术
  • 10
    快速部署 Prometheus 社区版：解锁高效监控的奥秘——与商业版的深度对比及实战指南
  • 1
    阿里云ACK托管集群Pro版共享GPU调度操作指南
    821
  • 2
    ACK One 注册集群云端节点池升级：IDC 集群一键接入云端 GPU 算力，接入效率提升 80%
    576
  • 3
    基于 Azure DevOps 与阿里云 ACK 构建企业级 CI/CD 流水线
    1285
  • 4
    关于阿里云 Kubernetes 容器服务（ACK）添加镜像仓库的快速说明
    1214
  • 5
    ACK GIE配置建议
    952
  • 6
    ACK One GitOps：让全球化游戏服务持续交付更简单
    362
  • 7
    Ray on ACK 最佳实践，保障 AI 数据处理/训练/推理等环境的安全部署
    948
  • 8
    智联招聘 × 阿里云 ACK One：云端弹性算力颠覆传统 IDC 架构，打造春招技术新范式
    454
  • 9
    智联招聘 × 阿里云 ACK One：云端弹性算力颠覆传统 IDC 架构，打造春招技术新范式
    668
  • 10
    KubeRay on ACK：更高效、更安全
    947

    • 相关课程

    更多
  • 阿里云 EMR on ACK 实战
  • 阿里云K8S微服务部署案例
  • Kubernetes极速入门
  • Serverless 容器从入门到精通: - Serverless Kubernetes
  • Kubernetes云原生管理实践
  • Kubernetes入门

    • 相关电子书

    更多
  • ACK 云原生弹性方案—云原生时代的加速器
  • ACK集群类型选择最佳实践
  • 企业运维之云原生和Kubernetes 实战

    • 推荐镜像

    更多
  • kubernetes
  • grafana
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！