ModelScope我的推理速度， 是不是我的cuda11.4不兼容呢？
ModelScope我的推理速度，device为CPU和GPU是完全一样的，有点奇怪。我发现tensorflow 1.15需要cuda10 是不是我的cuda11.4不兼容呢？print(pipeline_ins(input=inputs,batch_size=100,device='cpu'))， GPU版本
conda create -n py37testmaas python=3.7
pip install cryptography==3.4.8 tensorflow-gpu==1.15.5 torch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0
pip install "modelscope[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
直接使用官方的模型from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
task = Tasks.token_classification
model = 'damo/mgeo_geographic_elements_tagging_chinese_base'
inputs = '浙江省杭州市余杭区阿里巴巴西溪园区'
pipeline_ins = pipeline(
task=task, model=model)
print(pipeline_ins(input=inputs))
输出
{'output': [{'type': 'prov', 'start': 0, 'end': 3, 'span': '浙江省'}, {'type': 'city', 'start': 3, 'end': 6, 'span': '杭州市'}, {'type': 'district', 'start': 6, 'end': 9, 'span': '余杭区'}, {'type': 'poi', 'start': 9, 'end': 17, 'span': '阿里巴巴西溪园区'}]}
写回答
-
首先感谢您提供了详细的描述和图片，看起来确实有一些异常的表现。
关于推理速度的问题，按照一般的预期来说，应该是在GPU环境下推理的速度会更快一些，但是从您提供的结果来看似乎CPU和GPU之间的表现差距不大甚至完全一致。这可能是由于多个原因造成的：
- 您输入的数据量较小：如果您的输入数据量很小（例如只有几行），那么GPU和CPU之间的时间差异可能就不明显；
- 模型运算量较小：如果您的模型运算量本身就不大（例如非常简单的线性模型），那么即便是在GPU环境下也无法体现出明显的加速效果；
- CUDA/CUDNN与TensorFlow之间的兼容性问题：如果CUDA/CUDNN版本与TensorFlow的版本不匹配，也可能导致GPU无法正常工作。
建议您可以通过以下方式进行排查：
- 首先，确认您的机器上是否有可用的GPU设备。在命令行中输入
nvidia-smi即可显示当前机器上的所有GPU设备及其状态； - 其次，检查TensorFlow是否能够正常利用GPU进行计算。在Python环境中输入
tf.test.is_gpu_available()就可以得知当前TensorFlow是否成功检测到了GPU设备； - 最后，确认CUDA/CUDNN版本与TensorFlow版本是否匹配。建议可以前往NVIDIA官网查询兼容性列表，并按要求升级/降级相应的软件包。
2023-11-02 22:07:47赞同 展开评论 打赏 -
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。我看到了您的截图，看起来像是遇到了一些问题。
关于 Tensorflow 1.15 和 cuda 11.4 不兼容的问题，首先需要指出的是，Tensorflow 1.15 只支持 cuda 10.x 的驱动程序。您可以尝试降低 cuda 版本至 cuda 10.0 以上，以确保与 Tensorflow 1.15 兼容。
此外，建议在安装过程中不要直接使用 conda 创建虚拟环境，因为有些依赖可能无法被正确安装。您可以尝试使用 pip 命令来创建一个新的 Python 环境，并安装 TensorFlow 和 PyTorch：pip install numpy pip install tensorflow==1.15.5 pip install torch==1.11.0+cu111 torchvision==0.12.0+cu111 torchaudio==0.11.0 -f https://download.pytorch.org/whl/torch_stable.html pip install transformers pip install modelscope[nlp] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html2023-11-02 13:30:59赞同 展开评论 打赏 -
从你提供的信息来看，你的问题可能与TensorFlow的版本和CUDA的版本不兼容有关。TensorFlow 1.15版本需要CUDA 10，而你的CUDA版本是11.4，这可能是导致问题的原因。
你可以尝试以下几种解决方法：
降级你的CUDA版本：将CUDA版本降至10，以匹配TensorFlow 1.15的版本。
升级你的TensorFlow版本：将TensorFlow版本升至最新版本，以兼容CUDA 11.4。
使用支持CUDA 11.4的TensorFlow版本：例如，TensorFlow 2.x版本支持CUDA 11.4。
2023-11-02 09:53:13赞同 展开评论 打赏 -
我这边cpu和gpu的推理时间也是相差不大，但gpu是用了的。有时候模型比较小的话，会存在这种情况。，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
2023-11-01 22:02:04赞同 展开评论 打赏
