备案控制台

开发者社区

开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

modelscope 有没有释放显存的办法除了将服务进程kill掉？

modelscope我使用damo/nlp_structbert_siamese-uninlu_chinese-base模型部署了一个测试服务，但是随着调用量累计变多，显存的使用量也线性的增长，想问一下，有没有释放显存的办法，除了将服务进程kill掉？

展开

收起

闲o月 2023-12-18 14:06:52 45 0

1 条回答

写回答

取消提交回答

三颗橙子

您参考一下这里的torch_gc, https://github.com/modelscope/modelscope/blob/master/examples/pytorch/application/qwen_doc_search_QA_based_on_langchain.ipynb 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

2023-12-18 22:01:37

赞同展开评论打赏

相关问答

ModelScope中，缓存有办法在以下命令里面做到吗？

16

2

0

生成的内容太短，有没有办法限制modelscope最小生成的字符数？

8

0

0

ModelScope的pipeline有办法输出置信度吗？

12

0

0

ModelScope社区服务器跑RAG没有提示显存不够的问题，现在跑会显示显存不够，有啥解决办法吗？

15

0

0

modelscope-funasr中，训练后outputs目录里有这类文件，是不是有办法能生成呢？

16

1

0

modelscope-funasr中，f离线部署服务中的区别是啥，难道离线服务，也可以实时吗？

24

0

0

modelscope-funasr离线录音文件的结果，跟fastapi http服务的结果不一致？

16

0

0

modelscope-funasr中，热词的长度和个数都影响结果的正确性，请问有没有办法？

18

1

0

modelscope-funasr离线部署实时语音，在docker容器中启动服务时报错如何解决？

15

1

0

modelscope模型管理里没有办法选微调模型，是否正常情况下都是无法选择的？

9

0

0

ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

热门讨论

热门文章

ModelScope中，模型下载默认路径在哪个路径？

com/action/joingroup?code=v1是什么意思

在ModelScope中，想了解一下Qwen-14B微调用的训练数据该如何处理？

ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？

我希望通过damo-YOLO训练1500*1500的图片

ModelScope中我尝试使用这个模型搭建了一个推理服务，然后报错了怎么办？

服务器上onnxruntime-gpu 调用结束，如何释放显存

streamlit 生成链接无法访问，gradio只生成内网，无法生成公网

Modelscope魔塔的创空间的文件怎么下载到本地呀？

ModelScope从魔塔社区创建的阿里服务没有使用抵扣资源包而是付费实例。怎么处理？

展开全部

Stable Diffusion 介绍与入门

modelscope调用的模型如何指定在特定gpu上运行？排除使用CUDA_VISIBLE_DEVICES环境变量

图像分类基础与实战

视觉AI技术体系及趋势概述

人像增强修复

ModelScope模型使用与EAS部署调用

AI给你送年画啦！每一张都是独一无二

关键点检测从入门到进阶

展开全部

相关课程

更多

个性化语音合成模型微调

40

1

去学习

ModelScope社区Library技术架构介绍

174

1

去学习

相关电子书

更多

视觉AI能力的开放现状及ModelScope实战 立即下载

ModelScope助力语音AI模型创新与应用 立即下载

服务上云加速大家居产业C2M进程 立即下载

相关实验场景

更多