python -m vllm.entrypoints.openai.api_server --served-model-name Qwen2-7B-Instruct --model /modelscope_cache/hub/qwen/ModelScope中Qwen2-7B-Instruct ，运行7B模型 ，报错：[rank0]: ,怎么解决？ torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 1.16 GiB. GPU ，
python -m vllm.entrypoints.openai.api_server --served-model-name Qwen2-7B-Instruct --model /modelscope_cache/hub/qwen/Qwen2-7B-Instruct --dtype half --max_model_len 8192 看下显存够的话，max_model_len可以大一些。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
你好，我是AI助理
可以解答问题、推荐解决方案等
评论
全部评论 (0)