备案控制台

开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope调用翻译模型时候，80g的gpu内存几乎占满了，在哪里设置内存分配比例？

ModelScope调用翻译模型时候，80g的gpu内存几乎占满了，在哪里设置内存分配比例？

展开

收起

鸡蛋灌饼儿 2023-02-06 12:36:21 475 0

1 条回答

写回答

取消提交回答

月亮很亮

减小batch size可以降低GPU显存的使用大小——该回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

2023-02-06 18:03:38

赞同展开评论打赏

相关问答

计算机视觉

求助，人工智能平台 PAI-DSW运行模型时，找不到 GPU

40

0

0

modelscope-funasr怎么设置使得模型可以用CUDA0以外的其他gpu？

77

1

0

modelscope-funasr目前只能用给的两个paraformer模型吗？

37

0

0

modelscope-funasr离线版的翻译返回的时间戳是一句话的结束时间吗？

54

0

0

modelscope-funasr最新的gpu高吞吐服务用的模型和原来cpu的参数量是一样的么？

34

0

0

modelscope-funasr最新的gpu高吞吐服务用的模型和原来cpu的是一样的么？

38

0

0

在modelscope-funasr中有无将粤语文字翻译为一般汉字的工具？

22

0

0

ModelScope没有看见复制，模型选择、cpu/GPU选择有特别要求吗，有详细说明吗？

39

1

0

ModelScope的base翻译的内容的多了一些，但是也是有漏译，而且质量还差一些，怎么解决？

23

1

0

ModelScope如何确定可翻译的长度呢？

19

1

0

ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

热门讨论

热门文章

ModelScope中，模型下载默认路径在哪个路径？

服务器上onnxruntime-gpu 调用结束，如何释放显存

com/action/joingroup?code=v1是什么意思

我希望通过damo-YOLO训练1500*1500的图片

请问在 ModelScope 上的模型断网使用报这个错误啥原因了?

在ModelScope中，请问模型下载到本地的具体方法？

如何下载modelscope模型？

ModelScope中我尝试使用这个模型搭建了一个推理服务，然后报错了怎么办？

ModelScope 使用14B模型推理时报这个错误？

streamlit 生成链接无法访问，gradio只生成内网，无法生成公网

展开全部

YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度

关键点检测从入门到进阶

YOLOv10实战：SPPF原创自研 | SPPF_attention，重新设计加入注意力机制 | NEU-DET为案列进行展开

关于flux.1 loras的8个问题

一种基于YOLOv8改进的高精度红外小目标检测算法（原创自研）

《YOLOv8原创自研》专栏介绍 & CSDN独家改进创新实战&专栏目录

Stable Diffusion 介绍与入门

图像分类基础与实战

展开全部

相关课程

更多

云原生AI套件：一键训练大模型及部署GPU共享推理服务

75

1

去学习

个性化语音合成模型微调

252

1

去学习

ModelScope社区Library技术架构介绍

227

1

去学习

相关电子书

更多

ModelScope助力语音AI模型创新与应用 立即下载

内存取证与IaaS云平台恶意行为的安全监控 立即下载

云服务器ECS内存增强型实例re6全新发布 立即下载

相关实验场景

更多