modelscope 有没有释放显存的办法除了将服务进程kill掉？
modelscope我使用damo/nlp_structbert_siamese-uninlu_chinese-base模型部署了一个测试服务，但是随着调用量累计变多，显存的使用量也线性的增长，想问一下，有没有释放显存的办法，除了将服务进程kill掉？
展开
收起
1
条回答
写回答
写回答
-
您参考一下这里的torch_gc, https://github.com/modelscope/modelscope/blob/master/examples/pytorch/application/qwen_doc_search_QA_based_on_langchain.ipynb
此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”2023-12-18 22:01:37赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
10329
com/action/joingroup?code=v1是什么意思
7708
我希望通过damo-YOLO训练1500*1500的图片
8976
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2466
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
2163
服务器上onnxruntime-gpu 调用结束，如何释放显存
5512
ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
988
ModelScope下载速度慢怎么解决？
1141
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
1936
modelscope cache 环境变量是啥？
2914
展开全部
ColorFlow：腾讯和清华大学联合推出的图像序列着色模型，通过参考图像的颜色对黑白漫画进行着色生成彩色漫画
352
EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
204
AniDoc：蚂蚁集团开源 2D 动画上色 AI 模型，基于视频扩散模型自动将草图序列转换成彩色动画，保持动画的连贯性
52
Genesis：卡内基梅隆大学联合 20 多所研究机构开源生成式物理引擎，能够模拟各种材料、物体和物理运动现象
51
YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度
1048
Manga Image Translator：开源的漫画文字翻译工具，支持多语言翻译并嵌入原图，保持漫画的原始风格和布局
42
Ruyi：图森未来推出的图生视频大模型，支持多分辨率、多时长视频生成，具备运动幅度和镜头控制等功能
66
X-AnyLabeling：开源的 AI 图像标注工具，支持多种标注样式，适于目标检测、图像分割等不同场景
39
Leffa：Meta AI 开源精确控制人物外观和姿势的图像生成框架，在生成穿着的同时保持人物特征
45
BrushEdit：腾讯和北京大学联合推出的图像编辑框架，通过自然语言指令实现对图像的编辑和修复
43
展开全部
