AI 助理
备案控制台
开发者社区 ModelScope模型即服务 正文

ModelScope用这个命令推理Qwen2-57b-a14b-instruct模型，为什么报错？

"CUDA_VISIBLE_DEVICES=0,1,2,3 swift infer \ --model_type qwen2-57b-a14b-instruct --infer_backend vllm \ --tensor_parallel_size 4 --model_id_or_path /root/Qwen2-57B-A14B-Instruct/ 请问一下，ModelScope用这个命令推理Qwen2-57b-a14b-instruct模型，报错这是为什么？ : 7bdb8eed64101e20c043f2c1c0256b27.png
"

展开
收起
小小爱吃香菜 2024-07-30 16:26:40 126 分享 版权
1 条回答
写回答
取消 提交回答
  • 为了利利

    加RAY_memory_monitor_refresh_ms=0试试。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-07-30 19:05:32
    赞同 展开评论
相关问答
对modelscope的实体命名预训练模型进行微调上出现错误
91
1
0
modelscope-funasr文件识别报错，大概是为什么？
136
1
0
modelscope-funasr怎么设置使得模型可以用CUDA0以外的其他gpu？
33729
1
0
modelscope-funasr这个中文模型在使用过程中推理结果会识别出现英文，为什么？
55
1
0
modelscope-funasr的Java客户端是怎么使用的啊，这个命令要在哪里执行呢？
185
0
0
modelscope-funasr的热词是只在推理阶段做吗？
51
0
0
modelscope-funasr运行这个命令是报错，怎么解决？
70
0
0
您好我想问一下，在modelscope用OneKE模型去做知识图谱应该用re 还是ner 呀？
54
0
0
在modelscope-funasr中SeACo-Paraformer模型有导出onnx版吗？
99
0
0
在modelscope-funasr中用到的模型需要一个一个的单独下载是吗?
42
0
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

相关文章

  • Kimi开源Moonlight-16B-A3B：基于Muon优化器的高效大模型，性能与效率双突破！
  • Kimi开源Moonlight-16B-A3B：基于Muon优化器的高效大模型，性能与训练效率双突破！
  • Kimi开源Moonlight-16B-A3B：基于Muon优化器的高效大模型，性能与训练效率双突破！
  • DeepSeek开源Janus-Pro多模态理解生成模型，魔搭社区推理、微调最佳实践
  • Kanna 与 Swift：结合使用提升网络请求效率

    • 热门讨论

    热门文章

  • modelscope-funasr==1.0.5依赖的torch版本是多少？
  • ModelScope中，模型下载默认路径在哪个路径？
  • lmstudio拉起qwq-32b-q3_k_m.gguf模型报错？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
  • 关于wan2.1显存占用的问题
  • 在魔塔社区-模型服务 里面一键部署的deepseek模型怎么使用？
  • llama factory微调报错CUDA未被检测！
  • 无法导入 modelscope，已经pip install了
  • ModelScope下载速度慢怎么解决？
    • 展开全部
  • 高效部署通义万相Wan2.1：ComfyUI文生/图生视频实战，工作流直取！
  • Heygem：开源数字人克隆神器！1秒视频生成4K超高清AI形象，1080Ti显卡也能轻松跑
  • 还在蹲Manus的邀请码？别等了！开源版Manus为你快速创建AI工位，给AI一台电脑，然后你就玩去吧！
  • 本地部署DeepSeek模型
  • OWL：告别繁琐任务！开源多智能体系统实现自动化协作，效率提升10倍
  • WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
  • Trae 接入 Claude 3.7：AI 编程工具界的“卷王”，完全免费使用！
  • WhisperChain：开源 AI 实时语音转文字工具！自动消噪优化文本，效率翻倍
  • 通义万相Wan2.1视频模型开源！视频生成模型新标杆，支持中文字效+高质量视频生成
  • Browser Use：40.7K Star！一句话让AI完全接管浏览器！自动规划完成任务，多标签页同时管理
    • 展开全部
    还有其他疑问?
    咨询AI助理