ModelScope这个如何指定多卡加载,如指定4、5两张卡加载?
from modelscope import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto")用modelscope框架加载大模型,不应该是同样的方式么,还区分模型?我加载的是Qwen1.5-72B-Chat-GPTQ-Int4
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352