AI 助理
文档备案控制台
开发者社区 ModelScope模型即服务 计算机视觉 文章 正文

modelscope调用的模型如何指定在特定gpu上运行？排除使用CUDA_VISIBLE_DEVICES环境变量

2023-12-18 1278
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 由于个人需要，家里有多张卡，但是我只想通过输入device号的方式，在单卡上运行模型。如果设置环境变量的话我的其他服务将会受影响。

当我这样操作时，传入device为0或者“cuda:0”,都无法让其运行到指定gpu
self.skin_retouching = pipeline(Tasks.skin_retouching, model='damo/cv_unet_skin-retouching',device=device)
默认直接加载到多张卡上。
而且我发现对于不同的damo模型，使用这样的device传参方法，有的还会报错？难道达摩院内部的接口不统一吗？

对于我的需求我该如何修改我的代码？

文章标签：
GPU云服务器
视觉智能开放平台
异构计算
并行计算
达摩院
关键词：
modelscope模型
GPU云服务器模型
GPU云服务器运行
模型GPU云服务器
模型GPU云服务器运行
相关实践学习
在云上部署ChatGLM2-6B大模型（GPU版）
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验，可以学习如何配置AIGC开发环境，如何部署ChatGLM2-6B大模型。
游客jylnbcvdoiqxg
目录
相关文章
云流雨洄
|
存储 人工智能 固态存储
轻量级AI革命：无需GPU就能运算的DeepSeek-R1-1.5B模型及其低配部署指南
随着AI技术发展，大语言模型成为产业智能化的关键工具。DeepSeek系列模型以其创新架构和高效性能备受关注，其中R1-1.5B作为参数量最小的版本，适合资源受限场景。其部署仅需4核CPU、8GB RAM及15GB SSD，适用于移动对话、智能助手等任务。相比参数更大的R1-35B与R1-67B+，R1-1.5B成本低、效率高，支持数学计算、代码生成等多领域应用，是个人开发者和初创企业的理想选择。未来，DeepSeek有望推出更多小型化模型，拓展低资源设备的AI生态。
云流雨洄
2817 8
阿里云基础设施.
|
存储 测试技术 对象存储
容器计算服务ACS单张GPU即可快速搭建QwQ-32B推理模型
阿里云最新发布的QwQ-32B模型拥有320亿参数，通过强化学习大幅度提升了模型推理能力，其性能与DeepSeek-R1 671B媲美，本文介绍如何使用ACS算力部署生产可用的QwQ-32B模型推理服务。
阿里云基础设施.
581 66
蚝油菜花
|
人工智能 自然语言处理 API
Proxy Lite：仅3B参数的开源视觉模型！快速实现网页自动化，支持在消费级GPU上运行
Proxy Lite 是一款开源的轻量级视觉语言模型，支持自动化网页任务，能够像人类一样操作浏览器，完成网页交互、数据抓取、表单填写等重复性工作，显著降低自动化成本。
蚝油菜花
976 11
Proxy Lite：仅3B参数的开源视觉模型！快速实现网页自动化，支持在消费级GPU上运行
技术小达人
|
存储 文件存储 对象存储
AI 场景下，函数计算 GPU 实例模型存储最佳实践
AI 场景下，函数计算 GPU 实例模型存储最佳实践
技术小达人
330 0
蚝油菜花
|
存储 人工智能 算法
Magic 1-For-1：北大联合英伟达推出的高质量视频生成量化模型，支持在消费级GPU上快速生成
北京大学、Hedra Inc. 和 Nvidia 联合推出的 Magic 1-For-1 模型，优化内存消耗和推理延迟，快速生成高质量视频片段。
蚝油菜花
683 3
Magic 1-For-1：北大联合英伟达推出的高质量视频生成量化模型，支持在消费级GPU上快速生成
鑫宝Code
|
网络协议 Java
【工具】Mermaid + 大模型画流程图
最近看面试文章关于TCP三次握手和四次挥手的文章，时常会看到有类似的图去描述这样的过程。当然觉得这样的图还是蛮规范的，属于流程图的一种，是否有工具可以自动生成呢？但没有细想，昨天刷V2EX看到也有老哥发出了这样的问题。于是顺着评论区大佬的回答，我GET到了一个工具Mermaid 这里三次握手的图取自小林coding的文章
鑫宝Code
2102 0
Deephub
|
存储 人工智能 自然语言处理
LangChain RAG入门教程：构建基于私有文档的智能问答助手
本文介绍如何利用检索增强生成（RAG）技术与LangChain框架构建基于特定文档集合的AI问答系统。通过结合检索系统和生成机制，RAG能有效降低传统语言模型的知识局限与幻觉问题，提升回答准确性。文章详细展示了从环境配置、知识库构建到系统集成的全流程，并提供优化策略以改进检索与响应质量。此技术适用于专业领域信息检索与生成，为定制化AI应用奠定了基础。
Deephub
3783 5
LangChain RAG入门教程：构建基于私有文档的智能问答助手
阿里云开发者
|
11月前
|
人工智能 Java API
MCP客户端调用看这一篇就够了（Java版）
本文详细介绍了MCP（Model Context Protocol）客户端的开发方法，包括在没有MCP时的痛点、MCP的作用以及如何通过Spring-AI框架和原生SDK调用MCP服务。文章首先分析了MCP协议的必要性，接着分别讲解了Spring-AI框架和自研SDK的使用方式，涵盖配置LLM接口、工具注入、动态封装工具等步骤，并提供了代码示例。此外，还记录了开发过程中遇到的问题及解决办法，如版本冲突、服务连接超时等。最后，文章探讨了框架与原生SDK的选择，认为框架适合快速构建应用，而原生SDK更适合平台级开发，强调了两者结合使用的价值。
阿里云开发者
13545 33
MCP客户端调用看这一篇就够了（Java版）
ModelScope模型即服务

计算机视觉

热门文章

最新文章

  • 1
    video-subtitle-remover（VSR）--开源AI去字幕方案深度解析
  • 2
    Qwen2.5-VL：阿里通义千问最新开源视觉语言模型，能够理解超过1小时的长视频
  • 3
    RF-DETR：YOLO霸主地位不保？开源 SOTA 实时目标检测模型，比眨眼还快3倍！
  • 4
    PSHuman：开源单图像3D人像重建技术，一张照片就能生成3D人像模型
  • 5
    LHM：单图生成3D动画人！阿里开源建模核弹，高斯点云重构服装纹理
  • 6
    JoyCaption：开源的图像转提示词生成工具，支持多种风格和场景，性能与 GPT4o 相当
  • 7
    Manga Image Translator：开源的漫画文字翻译工具，支持多语言翻译并嵌入原图，保持漫画的原始风格和布局
  • 8
    video-analyzer：开源视频分析工具，支持提取视频关键帧、音频转录，自动生成视频详细描述
  • 9
    DeepMesh：3D建模革命！清华团队让AI自动优化拓扑，1秒生成工业级网格
  • 10
    EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
  • 1
    红外小目标检测新突破！异常感知检测头AA-YOLO：节俭又鲁棒，小样本也能精准识别
    314
  • 2
    基于YOLO11的交通违规检测系统（Python源码+数据集+Pyside6界面）
    401
  • 3
    video-subtitle-remover（VSR）--开源AI去字幕方案深度解析
    1190
  • 4
    NeurlPS 2025！多伦多大学TIRE助力3D/4D 生成精准保留主体身份
    286
  • 5
    【Github热门项目】DeepSeek-OCR项目上线即突破7k+星！突破10倍无损压缩，重新定义文本-视觉信息处理
    539
  • 6
    腾讯混元最新开源：一张图，秒变游戏大片
    599
  • 7
    漫画师福音！开源AI神器让线稿着色快如闪电！MagicColor：港科大开源多实例线稿着色框架，一键生成动画级彩图
    1049
  • 8
    ACTalker：港科大联合腾讯清华推出，多模态驱动的说话人视频生成神器
    473
  • 9
    这个模型让AI角色会说话还会演！MoCha：Meta联手滑铁卢大学打造对话角色视频生成黑科技
    842
  • 10
    WorldScore：斯坦福开源世界生成模型评估新标杆：3000样本+九维指标，视频/4D/3D模型一网打尽
    743

    • 相关课程

    更多
  • 云原生AI套件：一键训练大模型及部署GPU共享推理服务
  • 个性化语音合成模型微调
  • ModelScope社区Library技术架构介绍

    • 相关电子书

    更多
  • DeepStream: GPU加速海量视频数据智能处理
  • 阿里巴巴高性能GPU架构与应用
  • GPU在超大规模深度学习中的发展和应用

    • 相关实验场景

    更多
  • 在云上部署ChatGLM2-6B大模型（GPU版）
  • 通过GPU云服务器训练GPT-2
    • 下一篇
    开通oss服务