用的paraformae 语音转写 换了一台服务器 相同的显卡,但是处理速度慢了一倍, 还有gpu只看到内存加载了,但是好像用的是cpu运算的, modelscope-funasr这个是配置问题吗?
根据您描述的问题,服务器更换后处理速度变慢了一倍,并且GPU仅加载了内存但似乎未参与运算,这可能与配置或环境设置有关。以下是针对问题的详细分析和解决方案:
两台服务器虽然显卡相同,但可能存在以下导致性能差异的因素: - 系统环境差异:新服务器的操作系统、驱动版本或CUDA/cuDNN库版本可能与旧服务器不同,影响了GPU的正常调用。 - 内核安全缓解措施:如果新服务器使用的是AMD CPU实例,更新GuestOS内核后可能启用了SRSO漏洞修复的安全缓解措施,这会导致性能下降。 - 性能测试工具验证:建议使用阿里云的性能测试服务(PTS)对两台服务器进行基准测试,确保运行环境一致并定位性能瓶颈。
从您的描述来看,GPU仅加载了内存但未参与实际计算,可能是以下原因之一: - 模型未正确配置为使用GPU:modelscope-funasr
可能默认使用CPU进行推理。需要检查代码中是否明确指定了GPU设备。 - CUDA环境问题:新服务器可能缺少正确的CUDA驱动或cuDNN库,导致模型无法调用GPU。 - 资源分配问题:GPU资源可能被其他进程占用,或者显存不足导致模型回退到CPU计算。
确认驱动和库版本:
nvidia-smi
如果未显示GPU信息,说明驱动未正确安装或GPU不可用。
检查内核安全缓解措施(适用于AMD CPU实例):
grep . /sys/devices/system/cpu/vulnerabilities/*
sudo grubby --update-kernel=ALL --args="spec_rstack_overflow=off"
sudo reboot
检查代码中是否指定GPU:
modelscope-funasr
中,确保代码中明确指定了GPU设备。例如:
import torch
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
验证GPU是否被调用:
watch -n 1 nvidia-smi
升级实例规格:
排查异常进程:
top
htop
虚拟内存不足:如果新服务器的内存不足,可能导致系统频繁使用交换空间,从而降低性能。可以通过以下命令检查内存使用情况:
free -h
如果内存使用率过高,建议优化业务逻辑或升级实例规格。
SSH连接延迟:如果通过SSH登录服务器时速度较慢,可能是UseDNS
特性导致。可以禁用该特性以提升连接速度。
modelscope-funasr
是否正确配置为使用GPU,并监控GPU使用情况。希望以上内容能帮助您解决问题!如果仍有疑问,请提供更多具体信息以便进一步分析。
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352