ModelScope我的推理速度，是不是我的cuda11.4不兼容呢？

ModelScope我的推理速度，device为CPU和GPU是完全一样的，有点奇怪。我发现tensorflow 1.15需要cuda10 是不是我的cuda11.4不兼容呢？print(pipeline_ins(input=inputs,batch_size=100,device='cpu'))， GPU版本
conda create -n py37testmaas python=3.7
pip install cryptography==3.4.8 tensorflow-gpu==1.15.5 torch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0
pip install "modelscope[nlp]" -f https:// modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
直接使用官方的模型from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

task = Tasks.token_classification
model = 'damo/mgeo_geographic_elements_tagging_chinese_base'
inputs = '浙江省杭州市余杭区阿里巴巴西溪园区'
pipeline_ins = pipeline(
task=task, model=model)
print(pipeline_ins(input=inputs))

输出

{'output': [{'type': 'prov', 'start': 0, 'end': 3, 'span': '浙江省'}, {'type': 'city', 'start': 3, 'end': 6, 'span': '杭州市'}, {'type': 'district', 'start': 6, 'end': 9, 'span': '余杭区'}, {'type': 'poi', 'start': 9, 'end': 17, 'span': '阿里巴巴西溪园区'}]}

展开

收起

真的很搞笑 2023-11-01 20:39:09 142 0

4 条回答

写回答

取消提交回答

Star时光
首先感谢您提供了详细的描述和图片，看起来确实有一些异常的表现。

关于推理速度的问题，按照一般的预期来说，应该是在GPU环境下推理的速度会更快一些，但是从您提供的结果来看似乎CPU和GPU之间的表现差距不大甚至完全一致。这可能是由于多个原因造成的：
1. 您输入的数据量较小：如果您的输入数据量很小（例如只有几行），那么GPU和CPU之间的时间差异可能就不明显；
2. 模型运算量较小：如果您的模型运算量本身就不大（例如非常简单的线性模型），那么即便是在GPU环境下也无法体现出明显的加速效果；
3. CUDA/CUDNN与TensorFlow之间的兼容性问题：如果CUDA/CUDNN版本与TensorFlow的版本不匹配，也可能导致GPU无法正常工作。
建议您可以通过以下方式进行排查：
1. 首先，确认您的机器上是否有可用的GPU设备。在命令行中输入nvidia-smi即可显示当前机器上的所有GPU设备及其状态；
2. 其次，检查TensorFlow是否能够正常利用GPU进行计算。在Python环境中输入tf.test.is_gpu_available()就可以得知当前TensorFlow是否成功检测到了GPU设备；
3. 最后，确认CUDA/CUDNN版本与TensorFlow版本是否匹配。建议可以前往NVIDIA官网查询兼容性列表，并按要求升级/降级相应的软件包。
2023-11-02 22:07:47

赞同展开评论打赏
小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
我看到了您的截图，看起来像是遇到了一些问题。
关于 Tensorflow 1.15 和 cuda 11.4 不兼容的问题，首先需要指出的是，Tensorflow 1.15 只支持 cuda 10.x 的驱动程序。您可以尝试降低 cuda 版本至 cuda 10.0 以上，以确保与 Tensorflow 1.15 兼容。
此外，建议在安装过程中不要直接使用 conda 创建虚拟环境，因为有些依赖可能无法被正确安装。您可以尝试使用 pip 命令来创建一个新的 Python 环境，并安装 TensorFlow 和 PyTorch：
```
pip install numpy 
pip install tensorflow==1.15.5
pip install torch==1.11.0+cu111 torchvision==0.12.0+cu111 torchaudio==0.11.0 -f https://download.pytorch.org/whl/torch_stable.html
pip install transformers
pip install modelscope[nlp] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
```
2023-11-02 13:30:59

赞同展开评论打赏
sunrr
从你提供的信息来看，你的问题可能与TensorFlow的版本和CUDA的版本不兼容有关。TensorFlow 1.15版本需要CUDA 10，而你的CUDA版本是11.4，这可能是导致问题的原因。

你可以尝试以下几种解决方法：
1. 降级你的CUDA版本：将CUDA版本降至10，以匹配TensorFlow 1.15的版本。
2. 升级你的TensorFlow版本：将TensorFlow版本升至最新版本，以兼容CUDA 11.4。
3. 使用支持CUDA 11.4的TensorFlow版本：例如，TensorFlow 2.x版本支持CUDA 11.4。
2023-11-02 09:53:13

赞同展开评论打赏
芯在这

我这边cpu和gpu的推理时间也是相差不大，但gpu是用了的。有时候模型比较小的话，会存在这种情况。，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

2023-11-01 22:02:04

赞同展开评论打赏