备案控制台

开发者社区

开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope中求教一下，我GPU显存不够，怎么强制用CPU运行魔搭LLM模型呀？

ModelScope中求教一下，我GPU显存不够，怎么强制用CPU运行魔搭LLM模型呀

展开

收起

超爱吃辣 2023-09-27 21:25:37 276 0

1 条回答

写回答

取消提交回答

多麻辣哦

你试试量化呗——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①

2023-09-27 23:06:13

赞同展开评论打赏

相关问答

有arm架构的ModelScope cpu镜像吗？

9

1

0

modelscope提示报错，无法运行，怎么处理？

7

0

0

modelscope怎么限制cpu的使用量？

6

0

0

modelscope-funasr这个recipe跑出来的模型在cpu推理的rtf是多少呀？

12

1

0

modelscope-funasr直接运行这个出现错误，如何解决？

19

1

0

每次运行都感觉C盘变小了，modelscope可以从什么位置清理缓存吗？

14

1

0

modelscope中，推理速度和cpu一样？

18

1

0

ModelScope有cpu版本的镜像吗？

14

0

0

s工具的CPU和内存规格现在能在yaml文件里面配置直接部署了？

984

1

0

我们现在就用go+fc，那这样的话，我的yaml文件，CPU和内存的配置要怎么写呢？

752

1

0

ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

热门讨论

热门文章

ModelScope中，模型下载默认路径在哪个路径？

com/action/joingroup?code=v1是什么意思

在ModelScope中，想了解一下Qwen-14B微调用的训练数据该如何处理？

我希望通过damo-YOLO训练1500*1500的图片

ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？

服务器上onnxruntime-gpu 调用结束，如何释放显存

streamlit 生成链接无法访问，gradio只生成内网，无法生成公网

请问在 ModelScope 上的模型断网使用报这个错误啥原因了?

ModelScope中我尝试使用这个模型搭建了一个推理服务，然后报错了怎么办？

ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？

展开全部

Stable Diffusion 介绍与入门

图像分类基础与实战

modelscope调用的模型如何指定在特定gpu上运行？排除使用CUDA_VISIBLE_DEVICES环境变量

ModelScope模型使用与EAS部署调用

关键点检测从入门到进阶

视觉AI技术体系及趋势概述

人像卡通化

人像增强修复

展开全部

相关课程

更多

个性化语音合成模型微调

40

1

去学习

ModelScope社区Library技术架构介绍

174

1

去学习

相关电子书

更多

DeepStream: GPU加速海量视频数据智能处理 立即下载

阿里巴巴高性能GPU架构与应用 立即下载

RDS SQL Server CPU高使用率性能优化 立即下载

相关实验场景

更多