再训练以后，导出模型如何进行推理
咨询下，这个模型再训练以后产出 每次epoch_x.pth和output以后的bin模型，怎么进行推理，或者部署位推理服务
展开
收起
1
条回答
写回答
写回答
-
您好，推理的话直接把pipeline里面model_dir指定到output目录即可
model_dir = '/xxxxxxx/output/' pipe = pipeline(Tasks.text_generation, model_dir=model_dir) print(pipe(input))
2023-03-07 22:04:32赞同 展开评论 打赏
相关问答
热门讨论
热门文章
请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
386
如何提高qwen-7b-chat-int4的并行处理能力
921
如何下载llama模型到本地？
1971
Distributed package doesn't have NCCL built in
688
modelscope-funasr这个是说明已经支持GPU了吗？
27
modelscope-funasr这个命令可以直接在win10系统下装docker吗？
23
在modelscope-funasr 我添加了热词(hotwords.txt)后， 是重启吗？
23
modelscope-funasr是否有像whisper一样？
22
第二次modelscope-funasr调用的时候，明显变慢了，而且 cpu 消耗变大了，怎么回事？
22
在modelscope-funasr训练陕西话，不同地区的陕西话还不大一样，这咋整？
21
展开全部
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手（检索增强生成(RAG)大模型）
122
检索增强生成(RAG)实践：基于LlamaIndex和Qwen1.5搭建智能问答系统
103
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
85
RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术
64
LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
57
DashVector&千问7B模型，打造极简RAG 之 基于专属知识的问答服务实践
216
表格问答
552
使用ModelScope社区搭建OCR应用
1191
ModelScope X 昇腾910快速上手
173
用modelscope分析了百万字的《天龙八部》，原来金庸大师最偏爱的是TA
2077
展开全部
