【ModelScope】GPU一点都没有消耗内存。这个正常是消耗，几个G的内存呀？
【ModelScope】CSANMT连续语义增强机器翻译-英中-通用领域-large，这个模型GPU占用很少，好像不到1个G，但是翻译一个短句，大概2秒钟，请问我这种情况，是正常情况吗？有办法提速吗？(modelscope) PS C:\OneDrive\多电脑淘盘共享\码栈\Python\mysite> python 阿里翻译.py 2022-12-01 22:32:26,154 - modelscope - INFO - PyTorch version 1.12.1+cu113 Found. 2022-12-01 22:32:26,157 - modelscope - INFO - TensorFlow version 2.11.0 Found.检测到 cuda了，但是，GPU没有消耗，推理时间长。GPU一点都没有消耗内存。这个正常是消耗，几个G的内存呀？
展开
收起
3
条回答
写回答
写回答
-
-
这个解码时长不太正常哈，单句解码应该会用到3-4G显存，正常长度（20词左右）解码时长在0.5s以内。此答案整理自钉钉群“ModelScope开发者联盟群 ①”
2022-12-06 09:11:59赞同 展开评论 打赏 -
GitHub https://github.com/co63oc/cloud
使用cuda
device=torch.device("cuda:0" if torch.cuda.is_available() else "cpu") model=model.to(device) x=x.to(device)2022-12-03 08:39:34赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
来源圈子
更多
收录在圈子:
+ 订阅
技术图谱：由专家组参与技术图谱的绘制与编写，知识与实践的结合让开发者们掌握学习路线与逻辑，快速提升技能
电子书：电子书由阿里内外专家打造，供开发者们下载学习，更与课程相结合，使用户更易理解掌握课程内容
训练营：学习训练营 深入浅出，专家授课，带领开发者们快速上云
精品课程：汇集知识碎片，解决技术难题，体系化学习场景，深入浅出，易于理解
技能自测：提供免费测试，摸底自查
体验实验室：学完即练，云资源免费使用
问答排行榜
最热
最新
相关课程
更多
推荐问答
