开发者社区 > ModelScope模型即服务 > 正文

降低版本可以,但是ModelScope的 OOM了,app-ui 不支持多卡吗?

降低switf版本后ModelScope的 OOM了,app-ui 不支持多卡吗? export NCCL_IB_DISABLE=1
export NCCL_P2P_DISABLE=1
export CUDA_LAUNCH_BLOCKING=1
CUDA_VISIBLE_DEVICES=0,1 swift app-ui --ckpt_dir '/data/train-models/sft/lora/baichuan2-13b-chat/self-awareness-20240425/checkpoint-276-merged' --infer_backend vllm

展开
收起
小小爱吃香菜 2024-05-01 13:28:48 34 0
1 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
移动App持续交付之路 立即下载
移动App研发加速—跨平台解决方案 立即下载
爆款App小咖秀产品服务端架构设计分享 立即下载

相关实验场景

更多