基于阿里云容器服务监控 Kubernetes集群GPU指标
### 简介
当您在阿里云容器服务中使用GPU ECS主机构建Kubernetes集群进行AI训练时，经常需要知道每个Pod使用的GPU的使用情况，比如每块显存使用情况、GPU利用率，GPU卡温度等监控信息，本文介绍如何快速在阿里云上构建基于Prometheus + Grafana的GPU监控方案。
grafana设置Alert阈值和邮件报警
版权声明：本文可能为博主原创文章，若标明出处可随便转载。 https://blog.csdn.net/Jailman/article/details/78920166
首先我们需要在机器上开启smtp/25服务，这里有一个坑，注意，云主机为了防止滥发邮件已经封掉了smtp的所有通信，所以云主机发邮件是有问题的。
Grafana Loki，轻量级日志系统
本文介绍了基于Grafana、Loki和Alloy构建的轻量级日志系统。Loki是一个由Grafana Labs开发的日志聚合系统，具备高可用性和多租户支持，专注于日志而非指标，通过标签索引而非内容索引实现高效存储。Alloy则是用于收集和转发日志至Loki的强大工具。文章详细描述了系统的架构、组件及其工作流程，并提供了快速搭建指南，包括准备步骤、部署命令及验证方法。此外，还展示了如何使用Grafana查看日志，以及一些基本的LogQL查询示例。最后，作者探讨了Loki架构的独特之处，提出了“巨型单体模块化”的概念，即一个应用既可单体部署也可分布式部署，整体协同实现全部功能。
