大模型在过去一年多时间里的一路技术狂奔，深刻的改变了今天模型和 AI 的整体应用生态，也给开发者提供纷繁复杂的模型选择。在多样化大模型的背后，OpenAI 得益于在领域的先发优势，其 API 接口今天也成为了业界的一个事实标准。许多开源工具和框架，包括 LlamaIndex，LangChain 等，都提供了与 OpenAI API 接口的标准对接方式，让开发者能方便地调用模型服务，进行各种工具以及应用的开发。无论是闭源模型还是开源模型，都能通过接口标准化，让广大开发者基于已有的丰富教程、示例代码和最佳实践指南，实现模型使用的真正落地。

对于 AI 应用开发，相比直接本地加载模型进行推理，模型的 API 服务化接口提供了更轻量化以及可扩展的潜力。开源模型从 checkpoint 转换为模型服务，并通过大家熟悉 OpenAI API 来提供服务，无疑时让模型能力能更好被集成的助推器。我们也希望 ModelScope 社区上开源的，多种多样的大模型，都能够被迅速服务化，并通过 OpenAI API 的接口开放给广大开发者，激发更多在模型应用上的创造力。这是我们在 ModelScope 推出一键部署 OpenAI API 兼容的模型服务的初衷。

1. SwingDeploy

SwingDeploy 是魔搭社区推出的模型一键部署服务，支持将魔搭上的各种（包括语音，视频，NLP 等不同领域）模型直接部署到用户指定的云资源上。并能在部署后通过 ModelScope pipeline 提供通用性的 API 调用。而有鉴于 LLM 领域，OpenAI API 接口的便利性，以及大模型领域高效推理框架（包括 Ollama+llama.cpp，vLLM，LMDeploy，SGLang 等）的迅速发展，我们这一期针对 LLM，专门提供了能够提供 OpenAI API 兼容的的模型服务部署能力。而在这许多大模型推理框架中，Ollama 基于 llama.cpp，提供了包括 CPU 在内的多硬件支持，也是这期 SwingDeploy 在这一能力上首选使用的推理框架。

得益于阿里云函数计算的产品能力，魔搭 SwingDeploy 后的模型推理 API 服务默认具备极致弹性伸缩（缩零能力）、GPU 虚拟化（最小 1GB 显存粒度）、异步调用能力、按用付费、闲置计费等能力，这些能力帮助算法工程师大大加快了魔搭开源模型投入生产的生命周期。

2. Ollama 推理框架

Ollama 是基于开源的 llama.cpp 项目开发的模型推理工具框架。得益于 llama.cpp 提供的高效模型推理和多硬件适配，Ollama 使得开发者能通过命令行，迅速在不同的硬件环境上拉起大模型服务。更重要的是，作为一个开源项目，Ollama 保持了与 llama.cpp 对接的开放性：除了 Ollama 官方提供的大模型以外，开发者可以通过导入指定的 GGUF 模型文件，并通过 Modelfile 配置文件自定义模型推理参数。与此同时，Ollama 提供了 OpenAI API 兼容的接口，为模型的使用提供了便利。

3. 从模型到 OpenAI API：上手实操

SwingDeploy 提供了将 ModelScope 上的开源模型，部署到云上并提供 OpenAI API 接口的服务。

前置工作：首先从魔搭站点的模型服务页面进入部署服务链接。如果之前没有用过 SwingDeploy 服务，需要先配置一下 ModelScope 账号和阿里云账号的绑定，并开通 FC 服务授权。

注：开通服务和授权均为免费，另外绑定阿里云账号的话，还可以在 ModelScope Notebook 上薅 100 个小时的 GPU 免费算力。

按照页面上的提示一步步操作即可。绑定授权都完成后长这样：

一键部署：完成准备工作后，点击新建部署，就可以进入部署页面。

在这里，我们可以看到，在“原生部署”链路之外，新增了“OpenAI API 兼容部署”页面。当前首先支持了 Ollama 推理框架。在这个页面上，可以选择想要部署的模型。这里我们以 Qwen2-7B-Instruct 为例，点击一键部署即进入函数计算 FC 的部署页面，点击“创建应用”即开始部署。

取决于您具体选择的模型，模型部署大概需要几分钟到十几分钟的时间，耐心等待一下即可。

部署完成后，就可以直接使用 OpenAI API 来调用 Qwen2-7B 这个模型了。从“立即使用”入口，就可以获取使用的范例代码：

需要注意的是，这个部署是您自己的专有部署，鉴权信息就是模型服务地址（base_url），不需要填入特殊的 API Key。我们把范例代码拷贝并执行，就可以直接调用模型服务：

from openai import OpenAI
model_id = 'qwen/Qwen2-7B-Instruct-GGUF'
client = OpenAI(    base_url='https://ms-fc-dapp-func-<replace with your  id>.cn-hangzhou.fcapp.run/v1',    api_key='ollama')
response=client.chat.completions.create(    model=model_id,    messages=[{"role":"user", "content":"Hello! 你是谁？"}],    stream=True)
for chunk in response:    print(chunk.choices[0].delta.content, end='')

到这里，通过几个简单的步骤，我们就完成了一个 Qwen2-7B 的 OpenAI 接口兼容 API 服务的部署。现在通过 OpenAI 的 SDK 或者 API，就能够接入到众多与 OpenAI 兼容的工具链或其他生态服务中了。

在上面部署的流程中，我们全程使用了默认配置，实际是在 CPU 机器上，部署了 Qwen2 的 70 亿参数规模模型的一个 GGUF 量化（Q5_K_M）版本。接下来我们再展开介绍一下这个链路上的可配置参数。

4. 自定义部署硬件与模型 API 参数

除了默认的参数以外，SwingDeploy 同时支持开发者对于部署模型所使用的参数进行配置。我们这里进一步展开一下做介绍。

展开“高级配置”，就可以看到可用的额外选项：

这里我们逐一说明一下：

• 模型版本号：ModelScope 上的模型可以有不同的版本，这里可做选择（默认使用最新的 master 版本）。
• 模型文件：GGUF 格式极大简化了大语言模型文件的管理，可通过单模型文件完成推理。而且借助 llama.cpp 提供的丰富量化能力，一个模型 repo 下的不同 GGUF 文件，通常对应的是不同量化精度与量化方法。平台默认选用的是 Q5_K_M 版本，在推理精度以及推理速度，资源消耗之间做一个较好的均衡。如果有特殊的需求，也可以选择更高的精度--例如 FP16 版本，或者更激进的量化（更小的模型文件）-- 例如 Q2_K 版本。

Modelfile 配置：Modelfile 是 Ollama 框架进行模型参数设定的配置文件，SwingDeploy 为当前支持的模型都提供了默认可用的配置，但是也允许您自定义配置，点击页面上的“编辑”即可进行修改。

比如这里我们把模型部署使用的 SYSTEM prompt 修改为：

You are a lovely cat, you answer each question ending with "meow~"（喵～）

这里我们选用了 Gemma2 模型，并通过 SYSTEM prompt 的配置让模型扮演一只小猫，每个回答都要以“meow~”（喵～）来做结尾。

模型部署后，再进行调用：

可以看到，这时候同样使用 OpenAI API 调用，模型确实展现出了符合预期的行为。当然，部分配置也可以在每次通过 OpenAI 的 API/SDK 接口调用的时候修改（例如 temperature，top_p， top_k 等参数）。

部署类型：SwingDeploy x Ollama 框架，支持在 CPU 或 GPU 上的部署，在这里可以按需进行选择。同时在 FC 的部署页面上，也可以选择更多的不同规格，这里不再赘述。

当前 SwingDeploy 提供基于阿里云函数计算（FC）的 serverless 服务，模型的部署可以根据 API 调用的时间来收费：整体的部署成本，尤其是 CPU 部署成本，相当可控。具体细节可以参见函数计算 FC^[1]的产品页面说明。

5. What‘s Next

OpenAI API 作为今天大模型应用生态的事实标准，已经在业界，包括各个开源社区，被广泛的接受。ModelScope 社区的 SwingDeploy，打通了从开源模型，直接转换为 OpenAI API 兼容的模型服务之间的通路。这为开发者通过 API 服务，迅速上手不同的开源模型，将模型能力接入不同的应用生态，提供了较大的便利性。后续我们会有更多的功能上线：

• 扩大模型支持的范围。当前一期主要提供了包括 qwen2，gemma2， llama3.1 等一系列头部开源模型的直接部署能力。后续我们计划开放对所有的开源大模型支持，只要是 GGUF 格式的 LLM 模型，均可以通过 SwingDeploy 迅速部署位 OpenAI API 服务。
• 添加不同模型 API 接口支持。目前 SwingDeploy 上的 OpenAI API 兼容首先提供了 LLM 模型支持（OpenAI 的 Chat Completions 接口），后续会添加包括 embedding，多模态 VL 模型，乃至语音等各种模型的支持，全面补全基于 OpenAI API 生态使用各种开源模型的生态。
• 引入 Ollama 以外的其他推理框架（如 vLLM、LMdeploy、SGLang 等）的支持。

相关链接：

[1] 函数计算 FC