"echo ""BMC is:""
read bmc
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 swift export \
--ckpt_dir ""$bmc"" \
--merge_lora True \
--quant_method awq \
--quant_bits 4 \
--load_args_from_ckpt_dir True \
--quant_device_map cpu \
--quant_n_samples 64 \
--quant_seqlen 768 \
--load_dataset_config True \ 请问这个ModelScope错误是什么原因?"
"您测一下环境有没问题,参考以下链接 https://github.com/modelscope/swift/blob/main/docs/source/LLM/LLM%E9%87%8F%E5%8C%96%E6%96%87%E6%A1%A3.md
参考以下代码 CUDA_VISIBLE_DEVICES=0 swift export \
--model_type qwen1half-7b-chat --quant_bits 4 \
--dataset alpaca-zh alpaca-en sharegpt-gpt4:default --quant_method awq 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352