modelscope的Qwen 系列 有没有支持的芯片列表?

modelscope的Qwen 系列 有没有支持的芯片列表?

展开
收起
小小爱吃香菜 2024-04-23 21:50:13 62 分享 版权
阿里云 AI 助理回答

根据提供的知识库资料,以下是关于ModelScope的Qwen系列支持的芯片列表及相关信息的详细解答:

支持的芯片类型

Qwen系列大模型镜像支持以下芯片类型,并对GPU架构有明确的要求: 1. CPU: - 适用于无GPU需求的环境。 - 对驱动无特殊要求。

  1. GPU
    • 支持的GPU架构:Ampere (如A10)。
    • 不支持的GPU架构:Turing (如T4)、Volta (如V100)、Pascal (如P100、P4)。
    • 需要NVIDIA驱动版本 >= 530,兼容R470和R525。

GPU显存配置要求

对于不同规模的Qwen模型,推荐的GPU显存配置如下: - Tesla系列: - 适用于较小规模模型(如DeepSeek-R1-Distill-Qwen-1.5B-GGUF、DeepSeek-R1-Distill-Qwen-7B-GGUF等)。 - 最低配置为Tesla 8GB或Tesla 16GB。 - Ada系列: - 适用于较大规模模型(如DeepSeek-R1-Distill-Qwen-14B-GGUF、DeepSeek-R1-Distill-Qwen-32B-GGUF等)。 - 最低配置为Ada 48GB,且需使用全卡预留48G显存。

镜像支持的CUDA版本

Qwen系列镜像支持的CUDA版本为12.1.1,具体要求如下: - 运行环境镜像(GPU):预装CUDA 12.1.1,需确保硬件兼容性。 - 一键部署镜像(GPU):同样基于CUDA 12.1.1构建,提供更便捷的部署能力。

总结支持的芯片列表

综合上述信息,Qwen系列在ModelScope中支持的芯片列表如下: - CPU:通用型,无特殊要求。 - GPU: - 支持:Ampere架构(如A10)。 - 不支持:Turing(如T4)、Volta(如V100)、Pascal(如P100、P4)。

注意:在选择GPU时,请确保满足最低显存配置及驱动版本要求,否则可能导致部署失败或性能问题。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

还有其他疑问?
咨询AI助理