千问1.5 72B AWQ的量化模型无法使用多个GPU
请问千问1.5 72B AWQ的量化模型使用官方提供的代码运时，多个GPU无法并行使用，只是一个一个轮着运行。
是什么问题造成的啊，代码和官方提供的代码一模一样。GPU为8个A30
展开
收起
相关问答
热门讨论
热门文章
请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
474
如何提高qwen-7b-chat-int4的并行处理能力
989
modelscope-funasr的cpu服务部署目前就是不支持说话人识别吗，还是需要修改什么地方？
42
modelscope-funasr的byte[] 8k 转16k 有什么好的方式吗？java？
37
modelscope-funasr这三种模型使用效果感觉一样，有什么差别吗？
37
在modelscope-funasr目前支持方言识别么?比如粤语，上海话
34
modelscope-funasr有没有提升推理时候单卡吞吐性能的最佳实践？
30
练的pth模型文件，怎么转成bin文件？
234
如何下载llama模型到本地？
2021
modelscope-funasr支持粤语么？
85
展开全部
LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
160
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
203
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手（检索增强生成(RAG)大模型）
202
RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术
129
检索增强生成(RAG)实践：基于LlamaIndex和Qwen1.5搭建智能问答系统
180
ModelScope X 昇腾910快速上手
200
DashVector&千问7B模型，打造极简RAG 之 基于专属知识的问答服务实践
246
使用ModelScope社区搭建OCR应用
1203
AI智能写作工具
740
高通量基因测序在药物研发和靶向治疗中的应用（一）
745
展开全部
