开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope本地化部署的Qwen-14B 怎么通过 api 访问呢?

ModelScope本地化部署的Qwen-14B 怎么通过 api 访问呢,写个http服务监听,代码直接调用模型是吗,14B 4090 跑得起来吗?

展开
收起
陈幕白 2023-12-13 13:12:27 279 0
1 条回答
写回答
取消 提交回答
  • 按照demo写个post调用 ,得做量化,4090只有24g,建议上双3090配合nvlink,要不就是rtx8000 此回答整理自钉群 “魔搭ModelScope开发者联盟群 ①”

    2023-12-13 13:39:53
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
ModelScope助力语音AI模型创新与应用 立即下载
重保场景及API安全指南 立即下载
CUDA Math API 立即下载