目前modelscope在倚天上能跑哪些模型呢？

目前，ModelScope 支持在倚天（Yitian）系列芯片上运行的模型主要包括以下几类。这些模型经过优化，能够充分利用倚天芯片的硬件特性，提供高效的推理性能。

1. DeepSeek 系列模型

DeepSeek 系列模型是 ModelScope 平台上支持的重要模型之一，适用于多种自然语言处理任务。以下是具体支持的模型及其配置信息： - DeepSeek-R1-Distill-Qwen-7B-GGUF
- 推荐使用 Tesla 系列显卡，默认配置即可满足需求。 - 如果需要部署更大规模的模型（如 DeepSeek 14B），需切换至 Ada 系列显卡，并预留 48G 显存。 - 配置参数示例： - ModelScope ID: lmstudio-community/DeepSeek-R1-Distill-Qwen-14B-GGUF - GGUF 文件: DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf

2. ChatGLM 系列模型

ChatGLM 系列模型以其低部署门槛和高效推理能力著称，适合在倚天芯片上运行。以下是支持的模型版本： - ChatGLM2-6B
- 基于 FlashAttention 技术，上下文长度扩展至 32K，对话阶段支持 8K 上下文长度。 - ModelScope ID: ZhipuAI/chatglm2-6b
- 模型版本: v1.0.2 - ChatGLM3-6B
- 引入了更强大的基础模型和功能支持，原生支持工具调用、代码执行等复杂场景。 - ModelScope ID: ZhipuAI/chatglm3-6b
- 模型版本: v1.0.0

3. Llama 系列模型

Llama 系列模型由 Meta 开发并开源，支持多语言对话和复杂任务处理。以下是支持的模型版本： - Llama 3.3 系列
- 参数量为 70B，针对多语言对话进行了优化，在行业基准测试中表现优异。 - ModelScope ID: Llama-3.3-70B-Instruct
- 模型版本: master - Llama 3.2 系列
- 包括纯文本模型和视觉任务模型，支持代理检索和摘要任务。 - ModelScope ID: - Llama-3.2-11B-Vision-Instruct
- Llama-3.2-90B-Vision-Instruct
- 模型版本: master - Llama 3.1 系列
- 提供多个参数版本（8B、70B、405B），其中 405B 版本是首个媲美顶级商业模型的开源大语言模型。 - ModelScope ID: - Llama-3.1-8B-Instruct
- Llama-3.1-70B-Instruct
- Llama-3.1-405B-Instruct
- 模型版本: master

4. BiLLa 模型

BiLLa 是一个开源的推理能力增强的中英双语 LLaMA 模型，适合在倚天芯片上运行： - ModelScope ID: AI-ModelScope/BiLLa-7B-SFT
- 模型版本: v1.0.5
- 主要特点包括中文理解能力的显著提升以及对任务求解逻辑的强化训练。

5. ChatYuan 系列模型

ChatYuan 系列模型是元语智能出品的大规模语言模型，支持中英双语对话和多种功能： - ModelScope ID: ClueAI/ChatYuan-large-v2
- 模型版本: v1.0.0
- 该模型具有轻量化实现高质量效果的特点，可在消费级显卡、PC 甚至手机上进行推理。

重要提醒

• 硬件要求：部分模型（如 DeepSeek 14B、Llama 3.3 等）对显存要求较高，建议根据模型规模选择合适的倚天芯片型号。
• 部署方式：推荐使用 ModelScope 官方提供的部署工具或 SDK，确保兼容性和性能优化。
• 生产环境：快速体验模型时可使用 FastAPI 和 Uvicorn 框架，但生产环境建议使用 vLLM 或 Triton 等成熟推理服务框架。

通过以上信息，您可以根据具体任务需求选择合适的模型，并在倚天芯片上完成高效部署和推理。