StructBERT文本相似度-中文-通用-base模型机器配置问题
我在试用StructBERT文本相似度-中文-通用-base这个模型，感觉效果还不错。我在1台8c32G（无gpu）的机器上搭建了一个docker的model scope环境（cpu版本），并对接http服务。完成一次相似度匹配的时间大概在800ms，cpu会占用到130%～150%。我想请问如果我想提升响应时间，比如缩短到400ms以内，应该使用什么配置的机器比较合适。1qps大概需要什么样的配置，谢谢！
展开
收起
1
条回答
写回答
写回答
-
有一些建议您可以参考： 1. 缩短sequence_length 2. 减小batchsize（如果是batch推理的话） 机器配置需要您自行测试一下，我们这里也并没有缩短到400ms以内的可靠数据
2023-06-20 15:11:57赞同 展开评论 打赏
相关问答
热门讨论
热门文章
modelscope-funasr这个还能接收大的数据模块嘛？如何修改？
56
modelscope-funasr从磁盘加载模型，且使用gpu，但gpu没有被启动，怎么回事？
44
modelscope-funasr训练一个方言语音识别的大概要录多少小时的录音？
42
modelscope-funasr离线中文语音识别C++版本，有对音频的长度做限制吗？
111
在modelscope-funasr如何配置chunk_size或者chunk_interval呢？
36
modelscope-funasr语音唤醒有什么好用的可以连接windows的工具嘛？
34
如何下载llama模型到本地？
2104
如何提高qwen-7b-chat-int4的并行处理能力
1117
modelscope-funasr在无网络的服务器上部署，总是卡在下载这个地方，怎么处理？
29
请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
579
展开全部
检索增强生成(RAG)实践：基于LlamaIndex和Qwen1.5搭建智能问答系统
320
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手（检索增强生成(RAG)大模型）
347
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
329
RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术
206
DashVector&千问7B模型，打造极简RAG 之 基于专属知识的问答服务实践
359
LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
242
ModelScope X 昇腾910快速上手
251
使用ModelScope社区搭建OCR应用
1237
AI智能写作工具
767
AI制药工业落地的痛点与前进方向（一）
588
展开全部
