大模型在过去一年多时间里的一路技术狂奔，深刻的改变了今天模型和AI的整体应用生态，也给开发者提供纷繁复杂的模型选择。在多样化大模型的背后，OpenAI得益于在领域的先发优势，其API接口今天也成为了业界的一个事实标准。许多开源工具和框架，包括LlamaIndex，LangChain等，都提供了与OpenAI API接口的标准对接方式，让开发者能方便地调用模型服务，进行各种工具以及应用的开发。无论是闭源模型还是开源模型，都能通过接口标准化，让广大开发者基于已有的丰富教程、示例代码和最佳实践指南，实现模型使用的真正落地。
对于AI应用开发，相比直接本地加载模型进行推理，模型的API服务化接口提供了更轻量化以及可扩展的潜力。开源模型从checkpoint转换为模型服务，并通过大家熟悉OpenAI API来提供服务，无疑时让模型能力能更好被集成的助推器。我们也希望ModelScope社区上开源的，多种多样的大模型，都能够被迅速服务化，并通过OpenAI API的接口开放给广大开发者，激发更多在模型应用上的创造力。这是我们在ModelScope推出一键部署OpenAI API兼容的模型服务的初衷。
SwingDeploy
SwingDeploy是魔搭社区推出的模型一键部署服务，支持将魔搭上的各种（包括语音，视频，NLP等不同领域）模型直接部署到用户指定的云资源上。并能在部署后通过ModelScope pipeline提供通用性的API调用。而有鉴于LLM领域，OpenAI API接口的便利性，以及大模型领域高效推理框架（包括Ollama+llama.cpp，vLLM，LMDeploy, SGLang等）的迅速发展，我们这一期针对LLM，专门提供了能够提供OpenAI API兼容的的模型服务部署能力。而在这许多大模型推理框架中，Ollama基于llama.cpp，提供了包括CPU在内的多硬件支持，也是这期SwingDeploy在这一能力上首选使用的推理框架。
Ollama推理框架
Ollama是基于开源的llama.cpp项目开发的模型推理工具框架。得益于llama.cpp提供的高效模型推理和多硬件适配，Ollama使得开发者能通过命令行，迅速在不同的硬件环境上拉起大模型服务。更重要的是，作为一个开源项目，Ollama保持了与llama.cpp对接的开放性：除了Ollama官方提供的大模型以外，开发者可以通过导入指定的GGUF模型文件，并通过Modelfile配置文件自定义模型推理参数。与此同时，Ollama提供了OpenAI API兼容的接口，为模型的使用提供了便利。
从模型到OpenAI API：上手实操
SwingDeploy提供了将ModelScope上的开源模型，部署到云上并提供OpenAI API接口的服务。
- 前置工作：首先从魔搭站点的模型服务页面进入部署服务：https://www.modelscope.cn/my/modelService/deploy。如果之前没有用过SwingDeploy服务，需要先配置一下ModelScope账号和阿里云账号的绑定，并开通FC服务授权。
注：开通服务和授权均为免费，另外绑定阿里云账号的话，还可以在ModelScope Notebook上薅100个小时的GPU免费算力。
按照页面上的提示一步步操作即可。绑定授权都完成后长这样：
- 一键部署：完成准备工作后，点击新建部署，就可以进入部署页面
在这里，我们可以看到，在“原生部署”链路之外，新增了“OpenAI API兼容部署”页面。当前首先支持了Ollama推理框架。在这个页面上，可以选择想要部署的模型。这里我们以Qwen2-7B-Instruct为例，点击一键部署即进入函数计算FC的部署页面，点击“创建应用”即开始部署。
取决于您具体选择的模型，模型部署大概需要几分钟到十几分钟的时间，耐心等待一下即可。
添加图片注释，不超过 140 字（可选）
部署完成后，就可以直接使用OpenAI API来调用Qwen2-7B这个模型了。从“立即使用”入口，就可以获取使用的范例代码：
需要注意的是，这个部署是您自己的专有部署，鉴权信息就是模型服务地址（base_url），不需要填入特殊的API Key。我们把范例代码拷贝并执行，就可以直接调用模型服务：
from openai import OpenAI model_id = 'qwen/Qwen2-7B-Instruct-GGUF' client = OpenAI( base_url='https://ms-fc-dapp-func-<replace with your id>.cn-hangzhou.fcapp.run/v1', api_key='ollama' ) response=client.chat.completions.create( model=model_id, messages=[{"role":"user", "content":"Hello! 你是谁？"}], stream=True ) for chunk in response: print(chunk.choices[0].delta.content, end='')
你好！我是阿里云开发的一款超大规模语言模型，我叫通义千问。作为一个AI助手，我的目标是帮助用户获得准确、有用的信息，解决他们的问题和困惑。我可以回答各种问题、提供代码实现、辅助学习、解答疑惑等。请随时向我提问，我会尽力提供最好的帮助。
到这里，通过几个简单的步骤，我们就完成了一个Qwen2-7B的OpenAI接口兼容API服务的部署。现在通过OpenAI的SDK或者API，就能够接入到众多与OpenAI兼容的工具链或其他生态服务中了。
在上面部署的流程中，我们全程使用了默认配置，实际是在CPU机器上，部署了Qwen2的70亿参数规模模型的一个GGUF量化（Q5_K_M）版本。接下来我们再展开介绍一下这个链路上的可配置参数。
自定义部署硬件与模型API参数
除了默认的参数以外，SwingDeploy同时支持开发者对于部署模型所使用的参数进行配置。我们这里进一步展开一下做介绍。
展开“高级配置”，就可以看到可用的额外选项：
这里我们逐一说明一下：
-模型版本号：ModelScope上的模型可以有不同的版本，这里可做选择（默认使用最新的master版本）。
-模型文件：GGUF格式极大简化了大语言模型文件的管理，可通过单模型文件完成推理。而且借助llama.cpp提供的丰富量化能力，一个模型repo下的不同GGUF文件，通常对应的是不同量化精度与量化方法。平台默认选用的是Q5_K_M版本，在推理精度以及推理速度，资源消耗之间做一个较好的均衡。如果有特殊的需求，也可以选择更高的精度--例如FP16版本，或者更激进的量化（更小的模型文件）-- 例如Q2_K版本。
- Modelfile配置：Modelfile是Ollama框架进行模型参数设定的配置文件，SwingDeploy为当前支持的模型都提供了默认可用的配置，但是也允许您自定义配置，点击页面上的“编辑”即可进行修改。
比如这里我们把模型部署使用的SYSTEM prompt修改为
You are a lovely cat, you answer each question ending with "meow~"（喵～）
这里我们选用了Gemma2模型，并通过SYSTEM prompt的配置让模型扮演一只小猫，每个回答都要以“meow~”（喵～）来做结尾。
模型部署后，再进行调用：
可以看到，这时候同样使用OpenAI API调用，模型确实展现出了符合预期的行为。当然，部分配置也可以在每次通过OpenAI的API/SDK接口调用的时候修改（例如temperature，top_p， top_k等参数）。
- 部署类型：SwingDeploy x Ollama框架，支持在CPU或GPU上的部署，在这里可以按需进行选择。同时在FC的部署页面上，也可以选择更多的不同规格，这里不再赘述。
当前SwingDeploy提供基于阿里云函数计算（FC）的serverless服务，模型的部署可以根据API调用的时间来收费：整体的部署成本，尤其是CPU部署成本，相当可控。具体细节可以参见FC的产品页面说明。
What's Next
OpenAI API作为今天大模型应用生态的事实标准，已经在业界，包括各个开源社区，被广泛的接受。ModelScope社区的SwingDeploy，打通了从开源模型，直接转换为OpenAI API兼容的模型服务之间的通路。这为开发者通过API服务，迅速上手不同的开源模型，将模型能力接入不同的应用生态，提供了较大的便利性。后续我们会有更多的功能上线：
-扩大模型支持的范围。当前一期主要提供了包括qwen2，gemma2， llama3.1等一系列头部开源模型的直接部署能力。后续我们计划开放对所有的开源大模型支持，只要是GGUF格式的LLM模型，均可以通过SwingDeploy迅速部署位OpenAI API服务。 -添加不同模型API接口支持。目前SwingDeploy上的OpenAI API兼容首先提供了LLM模型支持（OpenAI的Chat Completions接口），后续会添加包括embedding，多模态VL模型，乃至语音等各种模型的支持，全面补全基于OpenAI API生态使用各种开源模型的生态。 -引入Ollama以外的其他推理框架（如vLLM、LMdeploy、SGLang等）的支持。
