StructBERT中文文本相似度-中文-通用-tiny，模型本地推理时如何限制CPU的使用数量
StructBERT中文文本相似度-中文-通用-tiny 模型本地使用from_pretrained和pipeline方法进行推理时，在2C的机器跑了1个核，32C的机器跑了16个核；推测默认使用了50%数量的CPU内核，请问下这个数量可否自己进行配置？要如何配置？
展开
收起
1
条回答
写回答
写回答
-
建议使用lscpu查看下物理cpu的数量，如果是32线程，一般只有16个物理cpu，这种情况下跑16个核是最快的。
2023-03-07 22:26:43赞同 展开评论 打赏
相关问答
热门讨论
热门文章
请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
418
如何下载llama模型到本地？
1994
如何提高qwen-7b-chat-int4的并行处理能力
945
Distributed package doesn't have NCCL built in
707
练的pth模型文件，怎么转成bin文件？
205
modelscope-funasr部署完成后，客户端连接不了服务端了。这是咋回事？
34
modelscope-funasr微调得需要多大硬盘？
35
怎么抽取GPT-3 预训练模型的emb向量？
1244
modelscope-funasr出现了这个，必现，谁知道咋回事？
25
Qwen-7B-Chat 私有化部署需要怎样的资源
1137
展开全部
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
162
LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
120
检索增强生成(RAG)实践：基于LlamaIndex和Qwen1.5搭建智能问答系统
159
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手（检索增强生成(RAG)大模型）
162
RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术
98
DashVector&千问7B模型，打造极简RAG 之 基于专属知识的问答服务实践
232
ModelScope X 昇腾910快速上手
182
表格问答
557
使用ModelScope社区搭建OCR应用
1193
AI智能写作工具
731
展开全部
