降低switf版本后ModelScope的 OOM了,app-ui 不支持多卡吗? export NCCL_IB_DISABLE=1
export NCCL_P2P_DISABLE=1
export CUDA_LAUNCH_BLOCKING=1
CUDA_VISIBLE_DEVICES=0,1 swift app-ui --ckpt_dir '/data/train-models/sft/lora/baichuan2-13b-chat/self-awareness-20240425/checkpoint-276-merged' --infer_backend vllm
加一下--tensor_parallel_size 2 命令行参数,参考以下链接 https://github.com/modelscope/swift/blob/main/docs/source/LLM/ 。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352