"python -m vllm.entrypoints.openai.api_server --served-model-name Qwen2-57B-A14B-Instruct --model /modelscope_cache/hub/qwen/Qwen2-57B-A14B-Instruct --tensor-parallel-size 4
ModelScope运行该命令后又报其它错误了，怎么解决？ torch.cuda.DeferredCudaCallError: CUDA call failed lazily at initialization with error: device >= 0 && device < num_gpus INTERNAL ASSERT FAILED at ""/torch/pytorch/aten/src/ATen/cuda/CUDAContext.cpp"":50, please report a bug to PyTorch. device=, num_gpus="
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
你好，我是AI助理
可以解答问题、推荐解决方案等
评论
全部评论 (0)