开发者社区> 问答> 正文

ModelScope一执行就报内存溢出咋整?报错如下RuntimeError: Distribute

ModelScope一执行就报内存溢出咋整?报错如下 RuntimeError: DistributedGPT3Pipeline: CUDA error: out of memory

展开
收起
爱喝咖啡嘿 2022-12-22 12:48:19 319 0
1 条回答
写回答
取消 提交回答
  • 以下是 1.3B 模型的 pipeline 运行示例代码,您试一下是否会出现 oom 的问题? from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks import torch

    if name == 'main': if torch.multiprocessing.get_start_method(allow_none=True) is None: torch.multiprocessing.set_start_method('spawn') input = '程序员脱发用什么洗发水' model_id = 'damo/nlp_gpt3_text-generation_1.3B' pipe = pipeline(Tasks.text_generation, model=model_id) pipe.models = []

    print(pipe(input))——此答案整理自钉群“魔搭ModelScope开发者联盟群 ①”
    
    2022-12-22 15:35:32
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
+ 订阅
技术图谱:由专家组参与技术图谱的绘制与编写,知识与实践的结合让开发者们掌握学习路线与逻辑,快速提升技能 电子书:电子书由阿里内外专家打造,供开发者们下载学习,更与课程相结合,使用户更易理解掌握课程内容 训练营:学习训练营 深入浅出,专家授课,带领开发者们快速上云 精品课程:汇集知识碎片,解决技术难题,体系化学习场景,深入浅出,易于理解 技能自测:提供免费测试,摸底自查 体验实验室:学完即练,云资源免费使用
问答排行榜
最热
最新

相关电子书

更多
ModelScope助力语音AI模型创新与应用 立即下载
内存取证与IaaS云平台恶意行 为的安全监控 立即下载
云服务器ECS内存增强型实例re6全新发布 立即下载