
很多人想给自己搭一个专属 AI 站点——自己的域名、自己的对话界面、自己的模型调用,不依赖第三方服务的额度限制。听起来复杂,但现在有一键部署方案,五分钟就能跑起来。
我研究了这套部署流程背后的技术结构,把"一键"到底做了什么拆一下。
一、一键部署背后的四层结构
界面上是一个按钮,实际链路是四层:
浏览器(对话界面)
↓ HTTP / SSE
Nginx 反向代理
↓
应用服务(Node/Python 后端)
↓ API 调用
模型服务(DeepSeek / Qwen / Llama)
再加一层底座:ECS 实例本身,负责跑上面所有组件。
第一层:ECS 实例。 提供计算、内存、公网 IP、带宽。模型推理对内存要求高,对话应用对并发有要求。
第二层:模型服务。 这里有两种完全不同的部署方式,下面单独说。
第三层:应用后端。 负责接收前端请求、组装 Prompt、调用模型 API、处理流式返回、管理会话历史。
第四层:前端界面。 一个有对话气泡、输入框、历史记录的 Web 页面。
二、模型服务的两种部署方式
这是整套方案里最关键的岔路口:
| 方式 | 做法 | 技术要求 | 资源占用 |
|---|---|---|---|
| 调用云端模型 API | ECS 只跑应用后端,模型推理在云端 | 低 | 小,2核2G 可跑 |
| 本地部署模型 | 模型权重下载到 ECS,本地推理 | 高,需要 GPU 或大内存 | 大,需 GPU 实例 |
调用 API 的方式适合绝大多数个人站点:模型推理放在云端,ECS 只做业务中转,成本低、启动快。DeepSeek、Qwen-max 这类模型都提供标准 HTTP 接口,后端只要写好鉴权、超时、流式解析就行。
本地部署的方式适合对数据隐私有要求、或者想做模型微调的场景。需要下载权重文件(几十 GB),装推理框架(vLLM、Ollama、llama.cpp 等),还要处理量化、显存分配、并发控制。这也是为什么页面里"已购云服务器"和"未购云服务器"会给不同方案——本地部署对实例规格要求高得多。
三、流式返回是体验的核心
对话应用和普通网站最大的技术差异是:模型输出是逐字生成的,不能等全部生成完再返回。
实现方式是 SSE(Server-Sent Events)或 WebSocket:
前端建立连接
↓
后端调用模型 API(带 stream=true)
↓
模型逐 token 返回
↓
后端把每个 token 转发给前端
↓
前端逐字渲染
如果做成同步请求,用户会盯着空白页等十几秒。流式返回让用户看到文字一个个蹦出来,感知延迟大幅降低。这套逻辑在后端要处理好几个细节:连接中断的容错、超时的处理、多个并发请求的隔离。
四、反向代理和 HTTPS
部署完成后,站点要通过域名访问,这需要:
- 域名解析:把域名 A 记录指向 ECS 公网 IP
- Nginx 反向代理:把 80/443 端口的请求转发到应用服务的内部端口
- HTTPS 证书:现在浏览器对非 HTTPS 站点会有安全警告,对话应用涉及用户输入内容,必须上 HTTPS
Nginx 在这里还承担另一个职责:限流和超时配置。模型接口响应慢,如果 Nginx 默认超时时间太短,请求会被掐断。
五、几个容易踩的技术点
1. 会话历史存哪。 多轮对话需要把历史消息带上,短会话放内存,长会话要落库。不做持久化的话,服务重启会话就丢了。
2. API Key 的存放。 绝对不能硬编码在前端。放在后端环境变量或密钥管理服务里,而且要给 Key 设置调用额度上限。
3. 并发与排队。 多个用户同时提问,模型 API 有并发限制。后端要做队列或限流,否则会大面积超时。
4. 实例规格匹配。 只做 API 中转的话 2 核 4G 足够;本地部署模型则要看模型参数量、量化方式、上下文长度,显存需求差别极大。
5. 出网带宽。 提交请求和接收返回都是走公网,如果带宽太小,流式输出会卡顿。
六、适合什么场景
这套结构适合:
- 个人开发者想有一个自己的 AI 对话入口
- 团队内部小范围使用,需要自己的访问控制
- 想接入多个模型做对比测试
- 想在此基础上二次开发(加知识库、加工具调用)
不太适合:
- 高并发公开服务(需要负载均衡和多实例)
- 需要极低延迟的实时推理
- 对模型效果有严格一致性要求的生产业务
七、写在最后
"一键部署"省掉的是手工装环境、配依赖、写启动脚本的重复劳动,但底层结构没变:一台机器跑应用、一个模型服务提供推理、一层反代暴露给公网。理解这四层,你就能在部署完之后知道出问题该看哪一层——是模型接口不通,还是反代超时,还是前端 SSE 解析失败。
完整的部署方案与配置说明可以看官方页面——查看 DeepSeek 个人站点快速部署方案。具体规格与权益以页面实际展示为准。
你已经给自己搭过 AI 站点吗?选的是 API 调用还是本地部署?评论区聊聊。