备案控制台

开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope-Agent-7B本地加载模型，需要多少gpu显存呢？

ModelScope-Agent-7B本地加载模型，需要多少gpu显存呢？

展开

收起

小小爱吃香菜 2024-01-16 22:36:28 439 0

1 条回答

写回答

取消提交回答

为了利利

7b模型至少需要17g显存，或者int8量化，大概9g。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

2024-01-16 22:54:55

赞同展开评论打赏

相关问答

ModelScope中，Qwen2-54B-A14B大概需要多少显存？最小需要多少显存？

19

1

0

ModelScope中每建立一个对话都需要消耗相应的显存吗？

23

1

0

请问一下，ModelScope中一般跑大模型一般多少显存？

9

1

0

请问ModelScope显存够了吗，够了的话怎么解决爆显存的问题？

16

1

0

ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？

49

1

0

Skywalking Agent部分的整体模型是怎样的？

8

1

0

modelscope使用swift deploy部署模型，提示显存溢出，怎么解决？

13

1

0

modelscope中报显存OOM的错误，有没有参数可以调优一下？

19

1

0

agent和ModelScope模型有啥区别？

19

1

0

ModelScope模型微调的时候，会显存溢出，怎么解决？

18

0

0

ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

热门讨论

热门文章

ModelScope中，模型下载默认路径在哪个路径？

com/action/joingroup?code=v1是什么意思

服务器上onnxruntime-gpu 调用结束，如何释放显存

我希望通过damo-YOLO训练1500*1500的图片

ModelScope 使用14B模型推理时报这个错误？

Modelscope把模型指定下载到 e盘的某个文件夹需要如何设置呀？

在ModelScope中，请问模型下载到本地的具体方法？

ModelScope中我尝试使用这个模型搭建了一个推理服务，然后报错了怎么办？

Modelscope魔塔的创空间的文件怎么下载到本地呀？

请问在 ModelScope 上的模型断网使用报这个错误啥原因了?

展开全部

关键点检测从入门到进阶

图像分类基础与实战

Stable Diffusion 介绍与入门

modelscope调用的模型如何指定在特定gpu上运行？排除使用CUDA_VISIBLE_DEVICES环境变量

视觉AI技术体系及趋势概述

Stable Diffusion使用窍门

ModelScope模型使用与EAS部署调用

人像卡通化

AdaDet检测工具箱：一行代码玩转检测算法

展开全部

相关课程

更多

云原生AI套件：一键训练大模型及部署GPU共享推理服务

54

1

去学习

个性化语音合成模型微调

237

1

去学习

ModelScope社区Library技术架构介绍

212

1

去学习

相关电子书

更多

DeepStream: GPU加速海量视频数据智能处理 立即下载

阿里巴巴高性能GPU架构与应用 立即下载

GPU在超大规模深度学习中的发展和应用 立即下载

相关实验场景

更多