StructBERT文本相似度-中文-通用-base模型机器配置问题
我在试用StructBERT文本相似度-中文-通用-base这个模型，感觉效果还不错。我在1台8c32G（无gpu）的机器上搭建了一个docker的model scope环境（cpu版本），并对接http服务。完成一次相似度匹配的时间大概在800ms，cpu会占用到130%～150%。我想请问如果我想提升响应时间，比如缩短到400ms以内，应该使用什么配置的机器比较合适。1qps大概需要什么样的配置，谢谢！
展开
收起
1
条回答
写回答
写回答
-
有一些建议您可以参考： 1. 缩短sequence_length 2. 减小batchsize（如果是batch推理的话） 机器配置需要您自行测试一下，我们这里也并没有缩短到400ms以内的可靠数据
2023-06-20 15:11:57赞同 展开评论 打赏
相关问答
热门讨论
热门文章
modelscope-funasr大规模asr训练的话，还是用audio_datasets吗？
76
modelscope-funasr怎么使用 gpu 加速啊？
59
modelscope-funasr“实时语音识别”是可以流式输入语音然后进行识别吗？
58
官方示例报错，用funasr就正常，请问什么原因呢？
55
在modelscope-funasr我按官方的示例代码运行的，报这个错，是什么原因呀？
55
modelscope-funasr的ASR 示例代码里报这个错误，如何解决？
55
modelscope-funasr的funclip的cam++可以转成onnx吗？
51
modelscope-funasr剪片子提示这个是什么原因？
46
如何提高qwen-7b-chat-int4的并行处理能力
1164
modelscope-funasr runtime的代码是没有后处理部分吗？
44
展开全部
检索增强生成(RAG)实践：基于LlamaIndex和Qwen1.5搭建智能问答系统
427
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
414
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手（检索增强生成(RAG)大模型）
442
DashVector&千问7B模型，打造极简RAG 之 基于专属知识的问答服务实践
434
RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术
264
LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
274
ModelScope X 昇腾910快速上手
275
使用ModelScope社区搭建OCR应用
1257
高通量基因测序在药物研发和靶向治疗中的应用（一）
769
中文竞技场（MS）大模型评测
97043
展开全部
