备案控制台

开发者社区 > ModelScope模型即服务 > 正文

ModelScope中，怎么使用webui和api调用的gpu？

ModelScope中，怎么使用webui和api调用的gpu？

展开

收起

小小爱吃香菜 2024-07-09 08:47:27 31 0

1 条回答

写回答

取消提交回答

小Lee

ModelScope主要提供模型管理服务，不直接支持GPU资源的WebUI或API调用。在阿里云GPU资源通常通过GPU云服务器控制台或API来管理。若要使用GPU运行模型，您需要：

创建GPU云服务器：
通过阿里云控制台创建GPU实例，选择合适的GPU类型和配置。
安装必要的环境和依赖，例如深度学习框架。
使用API：
使用阿里云的API Gateway和SDK来创建、启动、停止或销毁GPU实例。
可参考官方文档

2024-07-09 12:23:40

赞同 4 展开评论打赏

相关问答

ModelScope中示例页面的GPU版本和CPU版本。这两个不同版本会影响推理效率吗？

14

0

0

在modelscope-funasr中funasr 中文实时的可以gpu部署吗？

13

0

0

modelscope-funasr使用gpu转写服务部署指南，asr模型还是会需要导出为onnx吗？

13

0

0

modelscope用哪个脚本有新的报错是关于数据没有放在gpu上的？

8

1

0

modelscope-funasr用GPU推理，A10和4090在性能上，是不是差很多很多？

23

1

0

modelscope-funasr中文离线转写服务GPU版本，如何指定pytorch模型和版本呢？

11

1

0

阿里百炼ModelScope中的api上传文件需要耗费tokens或者其它付费吗？

10

1

0

modelscope-funasr的sensevoice哪里有API可以接入？

27

0

0

modelscope-funasr的http方式的语音识别api 怎么调用？

22

0

0

模型部署成功后，除了webui可以在线推理，有api可以调用吗？

6

0

0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

热门讨论

热门文章

ModelScope中，模型下载默认路径在哪个路径？

com/action/joingroup?code=v1是什么意思

ModelScope默认的下载位置是在哪里？

ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？

ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？

服务器上onnxruntime-gpu 调用结束，如何释放显存

请问ModelScope中，怎么修改本地运行，模型自动下载到 c 盘下？

无法导入 modelscope，已经pip install了

modelscope上跑报错，提示要pip install ttsfrd，搞不定

是modelscope版本不对还是哪个模块没装？

展开全部

未来语音交互新纪元：FunAudioLLM技术揭秘与深度评测

multi-agent：多角色Agent协同合作，高效完成复杂任务

Llama 3开源！魔搭社区手把手带你推理，部署，微调和评估

阿里云通义千问向全社会开放！

vanna+qwen实现私有模型的SQL转换

开源版图生视频I2VGen-XL：单张图片生成高质量视频

大模型时代，还缺一只雨燕｜ SWIFT：魔搭社区轻量级微调推理框架

Phi-3：小模型，大未来！（附魔搭社区推理、微调实战教程）

多模态AI单词助记模型体验

【RAG实践】Rerank，让RAG更近一步

展开全部

相关课程

更多

云原生AI套件：一键训练大模型及部署GPU共享推理服务

63

1

去学习

个性化语音合成模型微调

242

1

去学习

ModelScope社区Library技术架构介绍

219

1

去学习

相关电子书

更多

Spring Boot2.0实战Redis分布式缓存 立即下载

CUDA MATH API 立即下载

API PLAYBOOK 立即下载

相关实验场景

更多