ModelScope本地化部署的Qwen-14B 怎么通过 api 访问呢?

ModelScope本地化部署的Qwen-14B 怎么通过 api 访问呢,写个http服务监听,代码直接调用模型是吗,14B 4090 跑得起来吗?

展开
收起
陈幕白 2023-12-13 13:12:27 347 分享 版权
1 条回答
写回答
取消 提交回答
  • 按照demo写个post调用 ,得做量化,4090只有24g,建议上双3090配合nvlink,要不就是rtx8000 此回答整理自钉群 “魔搭ModelScope开发者联盟群 ①”

    2023-12-13 13:39:53
    赞同 展开评论

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

热门讨论

热门文章

还有其他疑问?
咨询AI助理