使用云监控实现GPU云服务器的GPU监控和报警(下)-云监控插件监控

简介: 目录 使用云监控实现GPU云服务器的GPU监控和报警(上) - 自定义监控 使用云监控实现GPU云服务器的GPU监控和报警(下)-云监控插件监控 1     背景 上一篇文章我们介绍了如何使用阿里云云监控服务提供的自定义监控功能,利用自定义监控提供的API或者SDK,通过自定义脚本可以将GP.

目录

使用云监控实现GPU云服务器的GPU监控和报警(上) - 自定义监控

使用云监控实现GPU云服务器的GPU监控和报警(下)- 云监控插件监控

1     背景

上一篇文章我们介绍了如何使用阿里云云监控服务提供的自定义监控功能,利用自定义监控提供的API或者SDK,通过自定义脚本可以将GPU云主机内采集的GPU数据上报,在云监控控制台上添加相应的GPU监控项,就可以实现对指定GPU实例内指定GPU的相应数据进行监控,对相应监控项设置相应数据的报警规则,就能实现监控数据的自动报警。

         但是自定义监控的采集脚本需要用户自己实现,并且云监控控制台上自定义监控的展示维度也很有限,只能查看指定VM指定GPU的某个数据。

         通过使用阿里云提供的云监控插件,可以一键安装就实现GPU指标的采集和上报,同时展示维度上可以与目前的ECS一样获得更多维度的展示,比如Dashborad监控大盘,可以监控集群级别的GPU指标,主机监控则可以在一个页面显示该实例所有GPU的所有监控指标。

本文将会详细介绍如何通过安装云监控插件来实现更全面、更易用的GPU云监控和报警。

2     云监控Agent安装

云监控插件从1.2.28版本开始支持GPU数据的采集。云监控Agent(即云监控插件)的安装可以参考云监控官方使用文档:云监控Agent安装。同时支持Linux和Window操作系统。

也可以在云监控控制台主机监控部分一键点击安装最新的云监控插件,并查看云监控插件的版本,如下图:

3     如何在云监控控制台查询GPU监控数据

目前只有GPU计算型实例支持GPU云监控,实例必须要安装GPU驱动和云监控插件的1.2.28以上版本,即可在主机监控查看GPU相关监控数据、配置报警规则,或在Dashboard中配置监控图表。

3.1   主机监控

在云监控控制台中进入主机监控,进入需要查看监控数据的实例,点击GPU监控标签页,就可以看到该实例所有GPU的GPU使用率、编码器/解码器使用率、显存使用量、GPU功率、GPU温度等监控数据。

3.2   Dashboard中自定义监控大盘

可以在云监控控制台Dashboard中创建自定义GPU监控大盘,以多种图表类型大盘展示分别分组、实例、GPU维度的各个GPU指标。

3.2.1   折线图

下图是以折线图形式展示特定分组的实例维度GPU显存使用量的平均值,可以一目了然的查看相关实例的显存使用量波动情况。

下图是以折线图形式展示特定分组的分组维度GPU温度的平均值,可以一目了然的查看指定分组相关实例的GPU温度波动情况。

3.2.2   TopN表格

下图是以TopN表格形式展示实例维度GPU温度的最大值,并以倒序方式展示,可以一目了然的查看用户账号下所有GPU实例的实时温度情况,并确定GPU温度最高的实例。

下图是以TopN表格形式展示实例维度GPU功率的平均,并以倒序方式展示,可以一目了然的查看用户账号下所有GPU实例的实时功率情况,并确定GPU功率最高的实例。

TopN表格形式同样能非常方便的查看各个实例的GPU利用率和编码器/解码器利用率以及显存使用情况,从而判断业务运行是否正常,以及判断资源利用是否充分。

4     如何设置报警规则

新增的GPU监控项添加报警规则方式同ECS的其他指标一样,可以针对某一特定指标设置报警规则,如下图:

推荐通过创建模板后将模板应用于分组的方式批量添加GPU报警。查看报警模板最佳实践

5     监控项说明

GPU相关监控指标提供3个维度的数据

5.1   GPU维度监控项

GPU维度的指标,采集每个GPU层面的监控数据。

MetricName

单位

名称

dimensions

gpu_memory_freespace

Bytes

GPU维度显存空闲量

instanceId,gpuId

gpu_memory_totalspace

Bytes

GPU维度显存总量

instanceId,gpuId

gpu_memory_usedspace

Bytes

GPU维度显存使用量

instanceId,gpuId

gpu_gpu_usedutilization

%

GPU维度GPU使用率

instanceId,gpuId

gpu_encoder_utilization

%

GPU维度编码器使用率

instanceId,gpuId

gpu_decoder_utilization

%

GPU维度解码器使用率

instanceId,gpuId

gpu_gpu_temperature

℃ 

GPU维度GPU温度

instanceId,gpuId

gpu_power_readings_power_draw

W

GPU维度GPU功率

instanceId,gpuId

gpu_memory_freeutilization

%

GPU维度显存空闲率

instanceId,gpuId

gpu_memory_useutilization

%

GPU维度显存使用率

instanceId,gpuId

5.2   实例维度监控项

实例维度指标对单个ECS实例上的多个GPU监控数据做最大值、最小值、平均值的聚合。便于查看实例层面的整体使用情况。

MetricName

单位

名称

dimensions

instance_gpu_decoder_utilization

%

实例维度GPU解码器使用率

instanceId

instance_gpu_encoder_utilization

%

实例维度GPU编码器使用率

instanceId

instance_gpu_gpu_temperature

℃ 

实例维度GPU温度

instanceId

instance_gpu_gpu_usedutilization

%

实例维度GPU使用率

instanceId

instance_gpu_memory_freespace

Bytes

实例维度GPU显存空闲量

instanceId

instance_gpu_memory_freeutilization

%

实例维度GPU显存空闲率

instanceId

instance_gpu_memory_totalspace

Bytes

实例维度GPU显存总量

instanceId

instance_gpu_memory_usedspace

Bytes

实例维度GPU显存使用量

instanceId

instance_gpu_memory_usedutilization

%

实例维度GPU显存使用率

instanceId

instance_gpu_power_readings_power_draw

W

实例维度GPU功率

instanceId

5.3   分组维度监控项

分组维度指标对单个应用分组里的多个ECS 实例的监控数据做最大值、最小值、平均值的聚合。便于查看集群层面的整体使用情况。

MetricName

单位

名称

dimensions

group_gpu_decoder_utilization

%

分组维度GPU解码器使用率

groupId

group_gpu_encoder_utilization

%

分组维度GPU编码器使用率

groupId

group_gpu_gpu_temperature

  分组维度GPU温度

groupId

group_gpu_gpu_usedutilization

%

分组维度GPU使用率

groupId

group_gpu_memory_freespace

Bytes

分组维度GPU显存空闲量

groupId

group_gpu_memory_freeutilization

%

分组维度GPU显存空闲率

groupId

group_gpu_memory_totalspace

Bytes

分组维度GPU显存总量

groupId

group_gpu_memory_usedspace

Bytes

分组维度GPU显存使用量

groupId

group_gpu_memory_usedutilization

%

分组维度GPU显存使用率

groupId

group_gpu_power_readings_power_draw

W

分组维度GPU功率

groupId

6     如何通过OpenAPI查询GPU监控数据

可以使用OpenAPI来查询GPU监控数据。参考文档:https://help.aliyun.com/document_detail/51936.html

参数说明:Project=acs_ecs_dashboard,Metric及Dimensions参考上述监控项表格中的GPU指标。

目录
相关文章
|
11天前
|
机器学习/深度学习 人工智能 PyTorch
阿里云GPU云服务器简介:优势场景价详解,最新收费标准与活动价格参考
阿里云GPU云服务器怎么样?阿里云GPU结合了GPU计算力与CPU计算力,主要应用于于深度学习、科学计算、图形可视化、视频处理多种应用场景,现在购买有包月5折包年4折起等优惠,GPU 计算型 gn6i实例4核15G包月优惠价1681.00元/1个月起,包年16141.80元/1年起;GPU 计算型 gn6v实例8核32G包月优惠价3817.00元/1个月起,包年36647.40元/1起等。本文为您详细介绍阿里云GPU云服务器产品优势、应用场景以及最新活动价格。
|
4月前
|
存储 机器学习/深度学习 数据库
阿里云服务器X86/ARM/GPU/裸金属/超算五大架构技术特点、场景适配参考
在云计算技术飞速发展的当下,云计算已经渗透到各个行业,成为企业数字化转型的关键驱动力。选择合适的云服务器架构对于提升业务效率、降低成本至关重要。阿里云提供了多样化的云服务器架构选择,包括X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器以及高性能计算等。本文将深入解析这些架构的特点、优势及适用场景,以供大家了解和选择参考。
767 61
|
11天前
|
存储 人工智能 编解码
阿里云GPU云服务器深度评测:算力怪兽如何重塑AI与图形处理的未来?
在AI与高性能计算需求激增的今天,传统CPU已难满足“暴力计算”需求。阿里云GPU云服务器依托NVIDIA顶级显卡算力,结合专为GPU优化的神行工具包(DeepGPU),为深度学习、科学计算、图形渲染等领域提供高效、弹性的算力支持。本文全面解析其产品优势、工具链及六大真实应用场景,助你掌握AI时代的算力利器。
阿里云GPU云服务器深度评测:算力怪兽如何重塑AI与图形处理的未来?
|
3月前
|
Prometheus 监控 数据可视化
模型被挤了?立即查看服务器GPU/CPU占用,别再误杀他人进程!
模型在服务器上跑得好好的,突然就“卡”了甚至被挤掉?别急着抱怨!本文手把手教你如何优雅地查看共享服务器的CPU和GPU占用情况,学会做一个有素质的“共享玩家”,告别模型被挤的尴尬!文末还有硬核忠告和Linux学习建议。
524 87
|
4月前
|
机器学习/深度学习 存储 人工智能
阿里云GPU服务器gn6v、gn7i、gn6i性能特点、区别及选择参考
阿里云GPU云服务器产品线凭借其强大的计算能力和广泛的应用价值,在这些领域中发挥着举足轻重的作用。阿里云GPU云服务器能够为各类复杂的计算任务提供高效、稳定的计算支持,助力企业和开发者在技术创新和业务拓展的道路上加速前行。本文将详细介绍阿里云GPU云服务器中的gn6v、gn7i、gn6i三个实例规格族的性能特点、区别及选择参考,帮助用户根据自身需求选择合适的GPU云服务器实例。
562 60
|
3月前
|
机器学习/深度学习 弹性计算 Linux
阿里云服务器租用价格:云服务器ECS/轻量/GPU收费标准与活动价格参考
阿里云服务器产品主要包括云服务器ECS、轻量应用服务器以及GPU云服务器等。为了方便大家了解阿里云各类服务器的价格信息,本文整理汇总了阿里云服务器、轻量应用服务器、GPU云服务器的最新收费标准以及活动价格情况,供大家参考选择。
|
4月前
|
运维 监控 网络协议
物联网设备状态监控全解析:从告警参数到静默管理的深度指南-优雅草卓伊凡
物联网设备状态监控全解析:从告警参数到静默管理的深度指南-优雅草卓伊凡
117 11
物联网设备状态监控全解析:从告警参数到静默管理的深度指南-优雅草卓伊凡
|
5月前
|
存储 机器学习/深度学习 算法
阿里云X86/ARM/GPU/裸金属/超算等五大服务器架构技术特点、场景适配与选型策略
在我们选购阿里云服务器的时候,云服务器架构有X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器、高性能计算可选,有的用户并不清楚他们之间有何区别。本文将深入解析这些架构的特点、优势及适用场景,帮助用户更好地根据实际需求做出选择。
|
10天前
|
弹性计算 编解码 大数据
性价比最高提升50%!阿里云企业级云服务器上新
阿里云ECS云服务器推出全新升级的u2系列实例,包括基于Intel的u2i实例与首个基于AMD的u2a实例,提供企业级独享算力,综合性价比最高提升50%。u2i实例已开放公测,适用于中小型数据库、企业网站建设等场景。同时发布基于AMD的第九代旗舰实例g9ae,性能提升65%,适用于大数据、视频转码等密集型业务。
60 1
|
21天前
|
弹性计算 运维 安全
阿里云轻量应用服务器是什么?看完你就知道了
阿里云轻量应用服务器是面向网站建设、开发测试等轻量场景的云服务器,按套餐售卖,内置多种应用镜像,支持一键部署,操作简单,适合个人开发者和中小企业使用。
163 0

热门文章

最新文章