AI 助理
备案控制台
开发者社区 ModelScope模型即服务 计算机视觉 正文

ModelScopeQwen-14B-Chat本地部署 请问下能如何优化啊？

"ModelScopeQwen-14B-Chat本地部署 单张v100启动会爆内存，2张v100会回复很慢，请问下能如何优化啊？065ef47e913a2d16661f5cbd7568a283.png
"

展开
收起
真的很搞笑 2023-10-24 16:44:33 238 分享 版权
1 条回答
写回答
取消 提交回答
  • 芯在这

    "要不您装一下flash-attention，部分模型用到flash-attension不支持v100
    您看一下模型卡片，Qwen-14B-Chat-Int8有些依赖项，没装的话装一下，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"

    2023-10-24 21:48:09
    赞同 展开评论
相关问答
请问下 我访问接口不通 什么原因 Provisional headers are shown
2859
0
0
购买阿里国外的云服务器是否可以访问谷歌？
82193
47
0
通过www和不带www的网址输入最终都指向www.我的域名.com，求指教
131072
28
0
this xml file does not appear to have any style in
50631
10
0
sql server的用户名和密码怎么查啊？
36656
21
0
OSS的endpoint如何查看
36996
6
0
计算机网络的频带传输是什么意思？
2008
1
0
手机弹出支付风险问题
6826
2
0
域名在腾讯云备案成功，解析到阿里云服务器，提示仍需备案？
60247
30
0
配置了安全组规则，端口还是无法访问
32877
25
0
ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

相关文章

  • pytorch基于AnimeFace128数据集训练DCGAN
  • 高效率办公PDF批量处理：批量OCR识别PDF区域文字内容，用PDF内容批量改名或导出表格的货物运单应用案例
  • 机器视觉软件平台哪个好：2025领衔的选型指南
  • 机器视觉公司有哪些：德创测控引领，产教融合优选指南​
  • 机器视觉公司有哪些：国产平台德创引领产教融合

    • 热门讨论

    热门文章

  • com/action/joingroup?code=v1是什么意思
  • ModelScope下载速度慢怎么解决？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • ModelScope中，模型下载默认路径在哪个路径？
  • 如何下载modelscope模型？
  • ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
  • cpu部署报错 Torch not compiled with CUDA enabled
  • 服务器上onnxruntime-gpu 调用结束，如何释放显存
  • 在ModelScope中，下载模型时的ssl问题怎么解决？!
  • modelscope这个下载有点慢呀，好几次都超时了，怎么解决？
    • 展开全部
  • Manga Image Translator：开源的漫画文字翻译工具，支持多语言翻译并嵌入原图，保持漫画的原始风格和布局
  • Qwen2.5-VL：阿里通义千问最新开源视觉语言模型，能够理解超过1小时的长视频
  • RF-DETR：YOLO霸主地位不保？开源 SOTA 实时目标检测模型，比眨眼还快3倍！
  • video-analyzer：开源视频分析工具，支持提取视频关键帧、音频转录，自动生成视频详细描述
  • X-AnyLabeling：开源的 AI 图像标注工具，支持多种标注样式，适于目标检测、图像分割等不同场景
  • STAR：南京大学联合字节开源视频超分辨率增强生成框架，视频清晰度一键提升，支持从低分辨率视频生成高分辨率视频
  • UI-TARS：字节跳动开源专注于多平台 GUI 自动化交互的视觉语言模型
  • SPAR3D：一张图片就能生成3D模型，每个物体的重建时间仅需0.7秒！
  • LHM：单图生成3D动画人！阿里开源建模核弹，高斯点云重构服装纹理
  • AddressCLIP：一张照片就能准确定位！中科院联合阿里云推出街道级图像地理定位模型
    • 展开全部
    还有其他疑问?
    咨询AI助理