模型部署

首先要明确一点：大模型应用开发并不是在浏览器中跟AI聊天。而是通过访问模型对外暴露的API接口，实现与大模型的交互。

因此，企业首先需要有一个可访问的大模型，通常有三种选择：

• 使用开放的大模型API：如你打开浏览器访问DeepSeek、豆包、GPT
• 在云平台部署私有大模型：如阿里云ECS通过Ollama部署DeepSeek
• 在本地服务器部署私有大模型：如公司服务器通过Ollama部署DeepSeek

使用开放大模型API的优缺点如下：

• 优点：

• 没有部署和维护成本，按调用收费

• 缺点：

• 依赖平台方，稳定性差
• 长期使用成本较高
• 数据存储在第三方，有隐私和安全问题

云平台部署私有模型：

• 优点：

• 前期投入成本低
• 部署和维护方便
• 网络延迟较低

• 缺点：

• 数据存储在第三方，有隐私和安全问题
• 长期使用成本高

本地部署私有模型：

• 优点：

• 数据完全自主掌控，安全性高
• 不依赖外部环境
• 虽然短期投入大，但长期来看成本会更低

• 缺点：

• 初期部署成本高
• 维护困难

注意：

这里说的本地部署并不是说在你自己电脑上部署，而是公司自己的服务器部署。

由于大模型所需要的算力非常多，自己电脑部署的模型往往都是阉割蒸馏版本，性能和推理能力都比较差。

再加上现在各种模型都有很多免费的服务可以访问，性能还是满血版本，推理能力拉满。

所以完全不建议大家在自己电脑上部署，除非你想自己做模型微调或测试。

接下来，我们给大家演示下两种部署方式：

• 开发大模型服务
• 本地部署（在本机演示，将来在服务器也是类似的）