热门
ModelScope跑了一会对话后,这个显存占用到程序停止后是不变的这是有什么泄露吗?
对话token数多了 这个显存占用多 应该还好吧,这也正常吧,torch.cuda.empty_cache()你尝试下这个 总会有一些cache的,如果对于显存要求比较极致,也可以用int4:https://modelscope.cn/models/qwen/Qwen-7B-Chat-Int4/summary-此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域