AI 助理
备案控制台
开发者社区 云原生 文章 正文

K8s + prometheus + vm(VictoriaMetrics)

2023-11-24 810
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
可观测可视化 Grafana 版，10个用户账号 1个月
可观测监控 Prometheus 版，每月50GB免费额度
简介： K8s + prometheus + vm(VictoriaMetrics)

K8s + prometheus + vm(VictoriaMetrics)

Prometheus 是目前常用的监控软件，今天主要介绍下pronethes在k8s中的部署以及使用vm作为存储的使用

安装 prometheus

  • 创建 ns
kubectl create ns prometheus
  • 创建 node-exporter
#cat exporter.yaml 
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: node-exporter
  labels:
    app: node-exporter
spec:
  selector:
    matchLabels:
      app: node-exporter
  template:
    metadata:
      labels:
        app: node-exporter
    spec:
      hostPID: true
      hostIPC: true
      hostNetwork: true
      nodeSelector:
        kubernetes.io/os: linux
      containers:
      - name: node-exporter
        image: prom/node-exporter:v1.1.1
        args:
        - --web.listen-address=$(HOSTIP):9100
        - --path.procfs=/host/proc
        - --path.sysfs=/host/sys
        - --path.rootfs=/host/root
        - --collector.filesystem.ignored-mount-points=^/(dev|proc|sys|var/lib/docker/.+)($|/)
        - --collector.filesystem.ignored-fs-types=^(autofs|binfmt_misc|cgroup|configfs|debugfs|devpts|devtmpfs|fusectl|hugetlbfs|mqueue|overlay|proc|procfs|pstore|rpc_pipefs|securityfs|sysfs|tracefs)$
        ports:
        - containerPort: 9100
        env:
        - name: HOSTIP
          valueFrom:
            fieldRef:
              fieldPath: status.hostIP
        resources:
          requests:
            cpu: 150m
            memory: 180Mi
          limits:
            cpu: 150m
            memory: 180Mi
        securityContext:
          runAsNonRoot: true
          runAsUser: 65534
        volumeMounts:
        - name: proc
          mountPath: /host/proc
        - name: sys
          mountPath: /host/sys
        - name: root
          mountPath: /host/root
          mountPropagation: HostToContainer
          readOnly: true
      tolerations:
      - operator: "Exists"
      volumes:
      - name: proc
        hostPath:
          path: /proc
      - name: dev
        hostPath:
          path: /dev
      - name: sys
        hostPath:
          path: /sys
      - name: root
        hostPath:
          path: / 


# kubectl -n prometheus apply -f exporter.yaml

prromethes的exproter配置我们放到comfig中管理

  • 创建 promethesu ConfigMap
# cat prometheus-cm.yaml 

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-config
data:
  prometheus.yaml: |
    global:
      scrape_interval: 15s
      scrape_timeout: 15s
    scrape_configs:
    - job_name: "nodes"
      static_configs:
      - targets: ['XXX:9100', 'XXX:9100', 'XXX:9100', 'XXX:9100'] #替换成自己的node ip
      relabel_configs: # 通过 relabeling 从 __address__ 中提取 IP 信息，为了后面验证 VM 是否兼容 relabeling
      - source_labels: [__address__]
        regex: "(.*):(.*)"
        replacement: "${1}"
        target_label: 'ip'
        action: replace 

# kubectl -n prometheus apply -f prometheus-cm.yaml
  • 创建 pvc
# cat prometheus-pvc.yaml 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: prometheus-data
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 2Gi
  storageClassName: managed-nfs-storage

# kubectl -n prometheus apply -f prometheus-pvc.yaml
  • 创建 service account
# cat sa.yaml 
apiVersion: v1
kind: ServiceAccount
metadata:
  name: prometheus
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: prometheus
rules:
- apiGroups:
  - ""
  resources:
  - nodes
  - services
  - endpoints
  - pods
  - nodes/proxy
  verbs:
  - get
  - list
  - watch
- apiGroups:
  - "extensions"
  resources:
    - ingresses
  verbs:
  - get
  - list
  - watch
- apiGroups:
  - ""
  resources:
  - configmaps
  - nodes/metrics
  verbs:
  - get
- nonResourceURLs:
  - /metrics
  verbs:
  - get
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: prometheus
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: prometheus
subjects:
- kind: ServiceAccount
  name: prometheus
  namespace: prometheus # 注意换成自己的ns

# kubectl -n prometheus apply -f sa.yaml
  • 部署 prometheus
# cat prometheus.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: prometheus
spec:
  selector:
    matchLabels:
      app: prometheus
  template:
    metadata:
      labels:
        app: prometheus
    spec:
      serviceAccountName: prometheus
      volumes:
        - name: data
          persistentVolumeClaim:
            claimName: prometheus-data
        - name: config-volume
          configMap:
            name: prometheus-config
      containers:
        - image: prom/prometheus:v2.35.0
          name: prometheus
          args:
            - "--config.file=/etc/prometheus/prometheus.yaml"
            - "--storage.tsdb.path=/prometheus" # 指定tsdb数据路径
            - "--storage.tsdb.retention.time=24h"
            - "--web.enable-admin-api"  # 控制对admin HTTP API的访问，其中包括删除时间序列等功能
            - "--web.enable-lifecycle" # 支持热更新，直接执行localhost:9090/-/reload立即生效
          ports:
            - containerPort: 9090
              name: http
          securityContext:
            runAsUser: 0
          volumeMounts:
            - mountPath: "/etc/prometheus"
              name: config-volume
            - mountPath: "/prometheus"
              name: data
---
apiVersion: v1
kind: Service
metadata:
  name: prometheus
spec:
  selector:
    app: prometheus
  type: ClusterIP
  ports:
    - name: web
      port: 9090
      targetPort: http

# kubectl -n prometheus apply -f prometheus.yaml
  • 创建 ingress （如果没有可以忽略）
# cat ingress.yaml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: prometheus
  annotations:
    kubernetes.io/ingress.class: "nginx"
    kubernetes.io/ingress.rule-mix: "true"
    cert-manager.io/cluster-issuer: letsencrypt-prod
spec:
  tls:
    - hosts:
        - prometheus.xxx.cn  # 指定需要证书的域名
      secretName: prometheus.xxx.cn
  rules:
  - host: prometheus.xxx.cn
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: prometheus
            port:
              number: 9090

# kubectl -n prometheus apply -f ingress.yaml
  • 部署 grafana
# vi grafana.yaml
kind: Deployment
metadata:
  name: grafana
spec:
  selector:
    matchLabels:
      app: grafana
  template:
    metadata:
      labels:
        app: grafana
    spec:
      volumes:
        - name: storage
          persistentVolumeClaim:
            claimName: grafana-data
      containers:
        - name: grafana
          image: grafana/grafana:main
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 3000
              name: grafana
          securityContext:
            runAsUser: 0
          env:
            - name: GF_SECURITY_ADMIN_USER
              value: admin
            - name: GF_SECURITY_ADMIN_PASSWORD
              value: admin321
          volumeMounts:
            - mountPath: /var/lib/grafana
              name: storage
---
apiVersion: v1
kind: Service
metadata:
  name: grafana
spec:
  type: ClusterIP
  ports:
    - port: 3000
  selector:
    app: grafana
"grafana.yaml" [New] 57L, 1146C written
[root@k8s-master1 grafana]# cat grafana.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: grafana
spec:
  selector:
    matchLabels:
      app: grafana
  template:
    metadata:
      labels:
        app: grafana
    spec:
      volumes:
        - name: storage
          persistentVolumeClaim:
            claimName: grafana-data
      containers:
        - name: grafana
          image: grafana/grafana:main
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 3000
              name: grafana
          securityContext:
            runAsUser: 0
          env:
            - name: GF_SECURITY_ADMIN_USER
              value: admin
            - name: GF_SECURITY_ADMIN_PASSWORD
              value: admin321
          volumeMounts:
            - mountPath: /var/lib/grafana
              name: storage
---
apiVersion: v1
kind: Service
metadata:
  name: grafana
spec:
  type: ClusterIP
  ports:
    - port: 3000
  selector:
    app: grafana
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: grafana-data
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: managed-nfs-storage

# 
kubectl -n prometheus apply -f grafana.yaml
  • 创建 grafana ingress
# cat ingress.yaml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: grafana
  annotations:
    kubernetes.io/ingress.class: "nginx"
spec:
  tls:
    - hosts:
        - grafana.wy1212.cn  # 指定需要证书的域名
      secretName: grafana.wy1212.cn
  rules:
  - host: grafana.wy1212.cn
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: grafana
            port:
              number: 3000

# kubectl -n prometheus apply -f ingress.yaml

安装 VM 并配置

  • 创建 VM
# cat vm.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: victoria-metrics
spec:
  selector:
    matchLabels:
      app: victoria-metrics
  template:
    metadata:
      labels:
        app: victoria-metrics
    spec:
      volumes:
        - name: storage
          persistentVolumeClaim:
            claimName: victoria-metrics-data
      containers:
        - name: vm
          image: victoriametrics/victoria-metrics:v1.76.1
          imagePullPolicy: IfNotPresent
          args:
            - -storageDataPath=/var/lib/victoria-metrics-data
            - -retentionPeriod=1d #数据保存时间
          ports:
            - containerPort: 8428
              name: http
          volumeMounts:
            - mountPath: /var/lib/victoria-metrics-data
              name: storage
---
apiVersion: v1
kind: Service
metadata:
  name: victoria-metrics
spec:
  type: ClusterIP
  ports:
    - port: 8428
  selector:
    app: victoria-metrics
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: victoria-metrics-data
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 2Gi
  storageClassName: managed-nfs-storage #换成自己的nfs

# kubectl -n prometheus apply -f vm.yaml

等vm 运行起来后，修改 prometheus 的 configmap 修改数据存储位置

  • 修改 prometheus cm
apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-config
data:
  prometheus.yaml: |
    global:
      scrape_interval: 15s
      scrape_timeout: 15s
    remote_write:    # 新增 远程写入到远程 VM 存储 
    - url: http://victoria-metrics:8428/api/v1/write # 新增
    scrape_configs:

因为我们部署prometheus的时候配置了 --web.enable-lifecycle 直接 curl -X POST localhost:9090/-/reload 即可生效

  • 在grafana 配置vm作为数据源测试

image.png

  • 创建完数据源，倒入一个dashboard （16098）测试

image.png

整个部署就完成了，关于其他如pod资源监控以及自动发现等配置，在下一篇文章中介绍。
image.png

文章标签：
容器服务Kubernetes版
可观测可视化 Grafana 版
可观测监控 Prometheus 版
Cloud Native
Prometheus
容器
Kubernetes
存储
关键词：
容器服务Kubernetes版prometheus
k8s可观测监控 Prometheus 版
容器服务Kubernetes版 Prometheus
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中，我们将全面的讲解Docker技术栈，从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
哪都带你去
目录
相关文章
蓝易云
|
8月前
|
Prometheus Kubernetes 监控
Kubernetes监控：Prometheus与AlertManager结合，配置邮件告警。
完成这些步骤之后，您就拥有了一个可以用邮件通知你的Kubernetes监控解决方案了。当然，所有的这些配置都需要相互照应，还要对你的Kubernetes集群状况有深入的了解。希望这份指南能帮助你创建出适合自己场景的监控系统，让你在首次发现问题时就能做出响应。
蓝易云
472 22
郑小健
|
Prometheus Kubernetes 监控
Prometheus 与 Kubernetes 的集成
【8月更文第29天】随着容器化应用的普及，Kubernetes 成为了管理这些应用的首选平台。为了有效地监控 Kubernetes 集群及其上的应用，Prometheus 提供了一个强大的监控解决方案。本文将详细介绍如何在 Kubernetes 集群中部署和配置 Prometheus，以便对容器化应用进行有效的监控。
郑小健
895 3
蓝易云
|
Prometheus Kubernetes 监控
k8s部署针对外部服务器的prometheus服务
通过上述步骤，您不仅成功地在Kubernetes集群内部署了Prometheus，还实现了对集群外服务器的有效监控。理解并实施网络配置是关键，确保监控数据的准确无误传输。随着监控需求的增长，您还可以进一步探索Prometheus生态中的其他组件，如Alertmanager、Grafana等，以构建完整的监控与报警体系。
蓝易云
743 62
蓝易云
|
Prometheus Kubernetes 监控
k8s部署针对外部服务器的prometheus服务
通过上述步骤，您不仅成功地在Kubernetes集群内部署了Prometheus，还实现了对集群外服务器的有效监控。理解并实施网络配置是关键，确保监控数据的准确无误传输。随着监控需求的增长，您还可以进一步探索Prometheus生态中的其他组件，如Alertmanager、Grafana等，以构建完整的监控与报警体系。
蓝易云
362 60
charlieroro
|
Prometheus Kubernetes Cloud Native
使用prometheus来避免Kubernetes CPU Limits造成的事故
使用prometheus来避免Kubernetes CPU Limits造成的事故
charlieroro
332 7
VipSoft
|
Prometheus Kubernetes 监控
Kubernetes(K8S) 监控 Prometheus + Grafana
Kubernetes(K8S) 监控 Prometheus + Grafana
VipSoft
662 2
小空门123-30335
|
Kubernetes Cloud Native 持续交付
云原生架构的核心组成部分通常包括容器化（如Docker）、容器编排（如Kubernetes）、微服务架构、服务网格、持续集成/持续部署（CI/CD）、自动化运维（如Prometheus监控和Grafana可视化）等。
云原生架构的核心组成部分通常包括容器化（如Docker）、容器编排（如Kubernetes）、微服务架构、服务网格、持续集成/持续部署（CI/CD）、自动化运维（如Prometheus监控和Grafana可视化）等。
小空门123-30335
990 3
www.qqkjcj.com
|
Prometheus 监控 Kubernetes
深入理解Prometheus: Kubernetes环境中的监控实践
Kubernetes简介 在深入Prometheus与Kubernetes的集成之前，首先简要回顾一下Kubernetes的核心概念。Kubernetes是一个开源的容器编排平台，用于自动化容器的部署、扩展和管理。它提供了高度的可扩展性和灵活性，使得它成为微服务和云原生应用的理想选择。 核心组件 • 控制平面（Control Plane）：集群管理相关的组件，如API服务器、调度器等。 • 工作节点（Nodes）：运行应用容器的机器。 • Pods：Kubernetes的基本运行单位，可以容纳一个或多个容器。
www.qqkjcj.com
224 1
wljslmz
|
Prometheus Kubernetes 监控
深入探讨 Prometheus 在 Kubernetes 上的部署和实战操作
【2月更文挑战第8天】
wljslmz
945 1
深入探讨 Prometheus 在 Kubernetes 上的部署和实战操作
程序员成长之路
|
5月前
|
Prometheus 监控 Cloud Native
云原生监控实战：Prometheus+Grafana快速搭建指南
云原生监控实战：Prometheus+Grafana快速搭建指南
程序员成长之路
934 85

热门文章

最新文章

  • 1
    阿里云ACK托管集群Pro版共享GPU调度操作指南
  • 2
    Hadoop大数据平台实战(05)：深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s
  • 3
    Kubernetes中的Pod无法访问外网-Ubuntu16.04 LTS
  • 4
    使用阿里云容器服务Kubernetes实现蓝绿发布功能
  • 5
    技术赋能无止境 Kubernetes Meetup 北京站完美闭幕
  • 6
    K8s 中 Pod OOMKilled 原因
  • 7
    关于Mesos和Kubernetes的区别
  • 8
    使用Spring Boot和Docker进行容器化部署
  • 9
    Kubernetes 集群 Ingress 网关
  • 10
    『Kubernetes』Linux安装K8S集群过程笔记
  • 1
    除了Prometheus，还有哪些工具可以监控Docker Swarm集群的资源使用情况？
    537
  • 2
    Prometheus+Grafana(docker安装)
    1126
  • 3
    Prometheus 深度指南：设计理念 · PromQL · Exporter · Thanos
    1024
  • 4
    Prometheus配置docker采集器
    260
  • 5
    Kubernetes监控：Prometheus与AlertManager结合，配置邮件告警。
    472
  • 6
    运维实战来了！如何构建适用于YashanDB的Prometheus Exporter
    170
  • 7
    Prometheus+Grafana监控Linux主机
    1002
  • 8
    Grafana Prometheus Altermanager 监控系统
    617
  • 9
    Grafana 安装配置教程，让你的 Prometheus 监控数据变得更美观
    1159
  • 10
    无痛入门Prometheus：一个强大的开源监控和告警系统，如何快速安装和使用？
    5868

    • 相关课程

    更多
  • 阿里云 EMR on ACK 实战
  • 阿里云K8S微服务部署案例
  • Kubernetes极速入门
  • Serverless 容器从入门到精通: - Serverless Kubernetes
  • Kubernetes云原生管理实践
  • Kubernetes入门

    • 相关电子书

    更多
  • RocketMQ Prometheus Exporter 打造定制化 DevOps 平台
  • 基于 RocketMQ Prometheus Exporter 打造定制化 DevOps 平台
  • K8s监控神器——TSDB for Prometheus的入门与实践

    • 推荐镜像

    更多
  • kubernetes
    • 下一篇
    阿里云弹性公网IP线路类型【BGP(多线)_精品】是什么意思？