" Qwen2-57B-A14B-Instruct 好像不太支持 modelscope server 启动服务，ModelScope中， 尝试模型介绍页面推荐的vllm启动命令 ：python -m vllm.entrypoints.openai.api_server --served-model-name Qwen2-57B-A14B-Instruct --model /modelscope_cache/hub/qwen/Qwen2-57B-A14B-Instruct的 ，又出现报错，怎么解决？ [rank0]: torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.19 GiB. GPU ， 
"
写回答
爆显存了，可以加--gpu_memory_utilization和-max_model_len 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
