AI 助理
备案控制台
开发者社区 ModelScope模型即服务 正文

"gpu_memory_utilization 这个ModelScope参数的具体意思是啥？"

"gpu_memory_utilization
这个ModelScope参数的具体意思是啥？"

展开
收起
小小爱吃香菜 2024-07-30 16:28:15 513 发布于江西 分享
分享
 版权
举报
1 条回答
写回答
取消 提交回答
  • 为了利利

    vllm显存使用比例，vllm是预先分配显存，如果没有什么特殊情况，建议配置到0.9以上。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-07-30 19:05:29 举报
    赞同 2 评论

    评论

    全部评论 (0)

    登录后可评论
相关问答
modelscope-funasr怎么设置使得模型可以用CUDA0以外的其他gpu？
33742
1
0
modelscope-funasr的这些超参数，是经验得出的较优参数组合嘛？
70
0
0
modelscope这个报错呢怎么回 事？在参数里加上encoding=utf-8，又会出现这个报错
60
1
0
在modelscope-funasr如果使用GPU的话这个编译需要改什么？
84
0
0
modelscope-funasr的 docker gpu1.1 容器中启动服务时，报这个是啥问题？
85
1
0
modelscope-funasr能支持用gpu来做实时转写吗？
66
0
0
modelscope-funasr最新的gpu高吞吐服务用的模型和原来cpu的参数量是一样的么？
79
0
0
modelscope-funasr最新的gpu高吞吐服务用的模型和原来cpu的是一样的么？
75
0
0
ModelScope没有看见复制，模型选择、cpu/GPU选择有特别要求吗，有详细说明吗？
68
1
0
ModelScope中，微调参数里面有可能会导致模型回复中断的参数或者是数据里面没有长文本的数据？
59
1
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

相关文章

  • 一键部署谷歌最新开源多模态AI模型 Gemma 3：单GPU性能碾压Llama！支持35+种语言
  • 融合AMD与NVIDIA GPU集群的MLOps：异构计算环境中的分布式训练架构实践
  • 阿里云服务器租用费用价格表：2025最新轻量+ECS+GPU优惠1年、1个月和1小时报价单
  • 轻量级AI革命：无需GPU就能运算的DeepSeek-R1-1.5B模型及其低配部署指南
  • 谷歌DeepMind联手牛津推出Bolt3D：AI秒速3D建模革命！单GPU仅需6秒生成3D场景

    • 热门讨论

    热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • lmstudio拉起qwq-32b-q3_k_m.gguf模型报错？
  • 在魔塔社区-模型服务 里面一键部署的deepseek模型怎么使用？
  • llama factory微调报错CUDA未被检测！
  • 关于wan2.1显存占用的问题
  • ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
  • 无法导入 modelscope，已经pip install了
  • ModelScope下载速度慢怎么解决？
  • 国外AI大模型咨询
    • 展开全部
  • Agent TARS：一键让AI托管电脑！字节开源PC端多模态AI助手，无缝集成浏览器与系统操作
  • 用自然语言控制电脑，字节跳动开源 UI-TARS 的桌面版应用！内附详细的安装和配置教程
  • 高效部署通义万相Wan2.1：ComfyUI文生/图生视频实战，工作流直取！
  • pdf-craft：PDF秒转Markdown/EPUB！接入DeepSeek轻松生成电子书，自动整理目录、注释和引文
  • vanna+qwen实现私有模型的SQL转换
  • UI-TARS：字节跳动开源专注于多平台 GUI 自动化交互的视觉语言模型
  • ChatMCP：基于 MCP 协议开发的 AI 聊天客户端，支持多语言和自动化安装 MCP 服务器
  • 阿里开源多模态全能王 Qwen2.5-Omni：创新Thinker-Talker架构，全面超越Gemini-1.5-Pro等竞品
  • RuoYi AI：1人搞定AI中台！开源全栈式AI开发平台，快速集成大模型+RAG+支付等模块
  • Qwen2.5-VL-32B: 更聪明、更轻量!
    • 展开全部
    还有其他疑问?
    咨询AI助理