pipline中不能使用device_map参数
pipeline_se = pipeline(Tasks.sentence_embedding, model=model_id, device_map='auto')
报错如下：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/modelscope/pipelines/base.py", line 218, in __call__
output = self._process_single(input, *args, **kwargs)
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/modelscope/pipelines/base.py", line 246, in _process_single
out = self.preprocess(input, **preprocess_params)
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/modelscope/pipelines/base.py", line 387, in preprocess
return self.preprocessor(inputs, **preprocess_params)
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/modelscope/preprocessors/nlp/sentence_embedding_preprocessor.py", line 84, in __call__
query_inputs = self.nlp_tokenizer(
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/modelscope/preprocessors/nlp/transformers_tokenizer.py", line 108, in __call__
return self.tokenizer(text, text_pair, **tokenize_kwargs)
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/transformers/tokenization_utils_base.py", line 2561, in __call__
encodings = self._call_one(text=text, text_pair=text_pair, **all_kwargs)
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/transformers/tokenization_utils_base.py", line 2647, in _call_one
return self.batch_encode_plus(
File "/root/miniconda3/envs/modelscope/lib/python3.8/site-packages/transformers/tokenization_utils_base.py", line 2838, in batch_encode_plus
return self._batch_encode_plus(
TypeError: _batch_encode_plus() got an unexpected keyword argument 'device_map'
展开
收起
1
条回答
写回答
写回答
-
您好，在 PyTorch 1.6 中，device_map 参数已被弃用。如果需要在 Pipeline 中使用多 GPU，可以使用 nn.DataParallel 或 dist.DistributedDataParallel。
2023-09-22 16:36:14赞同 展开评论 打赏
相关问答
热门讨论
热门文章
modelscope-funasr的FunClip怎么安装的？
693
open webui的RAG功能根本用不起来
195
练的pth模型文件，怎么转成bin文件？
698
请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
967
modelscope-funasr怎么使用 gpu 加速啊？
328
报错AssertionError: choose a window size 400 that is
123
modelscope-funasr的 sense voice和funasr的底层asr能力是一样吗？
164
modelscope-funasr支持粤语么？
326
modelscope-funasr在AutoModel里设置了关闭了，结果还是会打日志，为什么？
302
使用官方帖子里的代码，报错缺sp_model参数
331
展开全部
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
568
RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
459
RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术
533
LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
777
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
1184
检索增强生成(RAG)实践：基于LlamaIndex和Qwen1.5搭建智能问答系统
951
告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验
190
DashVector&千问7B模型，打造极简RAG 之 基于专属知识的问答服务实践
953
2024年6月118篇代码大模型论文最全整理
465
求助: 运行模型时报错module 'megatron_util.mpu' has no attribute 'get_model_parallel_rank'
376
展开全部
