AI 助理
备案控制台
开发者社区 ModelScope模型即服务 计算机视觉 正文

ModelScope本地化部署的Qwen-14B 怎么通过 api 访问呢？

ModelScope本地化部署的Qwen-14B 怎么通过 api 访问呢，写个http服务监听，代码直接调用模型是吗，14B 4090 跑得起来吗？

展开
收起
陈幕白 2023-12-13 13:12:27 349 分享 版权
1 条回答
写回答
取消 提交回答
  • 顾九思

    按照demo写个post调用 ，得做量化，4090只有24g,建议上双3090配合nvlink,要不就是rtx8000 此回答整理自钉群 “魔搭ModelScope开发者联盟群 ①”

    2023-12-13 13:39:53
    赞同 展开评论
相关问答
千问Qwen3 32B大模型部署需要什么配置的GPU服务器？
525
1
0
ModelScope接口访问qwen-coder，报错409
70
0
0
请问MNN支持在高通或者MTK平台上部署大模型吗？
76
0
0
通义万象图生文调用后生成的图片地址无法直接通过浏览器访问
110
0
0
千问Qwen3 14B大模型部署最低配置GPU服务器要求？
568
1
0
Qwen3 32B,14B,8B大模型部署分别需要多少显存，GPU服务器如何选？
1310
1
0
千问大模型Qwen3-8B、4B、32B、235B、0.6B参数含义，需要什么配置的服务器部署？
346
1
0
部署大模型Qwen3 32B,14B,8B参数的大模型部署分别需要多少显存？
1705
1
0
阿里云部署DeepSeek 70B大模型配置推荐？
141
1
0
怎么使用vllm部署最新的qwen3的mbedding 和reranker模型呢
707
0
0
ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

相关文章

  • 1688商品详情API接口实战指南：合规获取数据，驱动B2B业务增长
  • 数据同步最全避坑指南！4大痛点+4大场景技术方案
  • RAG系统嵌入模型怎么选？选型策略和踩坑指南
  • 可配置化App启动弹窗系统：实现后台动态管理与热更新引导-蜻蜓Q系统laravel+vue3-优雅草卓伊凡
  • Go语言实战案例-项目实战篇：编写一个轻量级在线聊天室

    • 热门讨论

    热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • cpu部署报错 Torch not compiled with CUDA enabled
  • 我希望通过damo-YOLO训练1500*1500的图片
  • com/action/joingroup?code=v1是什么意思
  • ModelScope下载速度慢怎么解决？
  • 如何下载modelscope模型？
  • 服务器上onnxruntime-gpu 调用结束，如何释放显存
  • 在ModelScope中，下载模型时的ssl问题怎么解决？!
  • ModelScope魔搭上的可以直接调用api用吗？
  • ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
    • 展开全部
  • X-AnyLabeling：开源的 AI 图像标注工具，支持多种标注样式，适于目标检测、图像分割等不同场景
  • Qwen2.5-VL：阿里通义千问最新开源视觉语言模型，能够理解超过1小时的长视频
  • video-analyzer：开源视频分析工具，支持提取视频关键帧、音频转录，自动生成视频详细描述
  • Cobalt：开源的流媒体下载工具，支持解析和下载全平台的视频、音频和图片，支持多种视频质量和格式，自动提取视频字幕
  • RF-DETR：YOLO霸主地位不保？开源 SOTA 实时目标检测模型，比眨眼还快3倍！
  • STAR：南京大学联合字节开源视频超分辨率增强生成框架，视频清晰度一键提升，支持从低分辨率视频生成高分辨率视频
  • LHM：单图生成3D动画人！阿里开源建模核弹，高斯点云重构服装纹理
  • EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
  • SNOOPI：创新 AI 文本到图像生成框架，提升单步扩散模型的效率和性能
  • YOLOv10实战：SPPF原创自研 | SPPF_attention，重新设计加入注意力机制 | NEU-DET为案列进行展开
    • 展开全部
    还有其他疑问?
    咨询AI助理