modelscope我想预加载一个模型预加载的模型就不起作用了在子进程为什么还是会去加载一次模型？
请教个问题 modelscope我想预加载一个模型，然后用了subprocess去调用脚本启动项目，他开起了一个子进程，预加载的模型就不起作用了，在子进程还是会去加载一次模型，这个有什么好的解决方案或者建议吗？大概就是我在启动服务端前面预先加载了模型，然后调用项目的时候还会去加载一次模型，用的subprocess.run去启动的项目。
展开
收起
1
条回答
写回答
写回答
-
一般将pipeline初始化和推理分开，初始化一次，后面一直用就可以了。您看可不可以参考这种方式，flask搭建模型服务文档，https://modelscope.cn/docs/%E4%BD%BF%E7%94%A8Flask%E6%90%AD%E5%BB%BA%E6%A8%A1%E5%9E%8B%E6%9C%8D%E5%8A%A1 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
2023-12-18 22:00:12赞同 展开评论 打赏
相关问答
热门讨论
热门文章
com/action/joingroup?code=v1是什么意思
3495
ModelScope中，模型下载默认路径在哪个路径？
2638
我希望通过damo-YOLO训练1500*1500的图片
6949
服务器上onnxruntime-gpu 调用结束，如何释放显存
3221
Modelscope魔塔的创空间的文件怎么下载到本地呀？
3165
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
1248
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
1649
ModelScope 使用14B模型推理时报这个错误？
861
请问modelscope中，有一个依赖，kantts，要怎么安装？
1339
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
941
展开全部
