模型跑起来之后，下一个问题就是：部署在哪。选错形态，后期会遇到扩缩容困难、成本失控、运维负担重。
这篇把三种主流部署形态的技术特征拆开对比。
一、形态一：ECS 上直接部署
最直接的方式：买一台云服务器，装环境，起进程，用 Nginx 或 systemd 托管服务。
ECS 实例
├── 模型服务进程（vLLM / Ollama 等）
├── 应用服务进程
└── Nginx 反向代理
优点：完全可控。可以自己装驱动、调显存参数、改推理框架配置。出了问题能登机器排查。
缺点：单点。机器挂了服务就挂；扩容要手动加机器再配负载均衡；环境漂移——换一台机器重装可能踩到版本不一致。
适合：模型调试、内部使用、流量稳定的长期服务、需要深度定制推理参数的场景。
二、形态二：容器化部署
把模型和依赖打进镜像，用容器编排管理。
Kubernetes 集群
├── Pod: 推理服务（GPU 节点）
├── Pod: 应用服务
└── Service / Ingress
优点：
- 环境一致：镜像里锁死了所有依赖版本，换机器不会漂移
- 弹性伸缩：按副本数扩容，HPA 可以按 GPU 利用率或队列长度自动扩
- 滚动更新：新版本先起新 Pod，验证后切流量，出问题可回滚
- 资源隔离：每个 Pod 有明确的资源限额
缺点：
- 复杂度高：要维护集群、理解调度、处理 GPU 资源的调度约束
- GPU 场景有特殊性：GPU 设备要透传给容器，显存不能像 CPU 那样超卖
- 镜像大：模型权重打进镜像会让镜像变成几十 GB，通常改成启动时从对象存储拉取
适合：多模型多服务、需要弹性伸缩、团队有 K8s 运维能力的场景。
三、形态三：Serverless / 托管平台
把服务交给平台托管，按函数或 Agent 运行时的方式部署。
平台托管运行时
├── 按请求拉起实例
├── 平台负责扩缩容和健康检查
└── 平台提供日志与监控
优点：
- 免运维：不用管机器、不用管扩缩容
- 按用量计费：没请求时不占资源
- 冷启动后快速可用：适合波动大的流量
缺点：
- 有超时限制：长任务可能被掐断
- 冷启动延迟：首次请求要等实例拉起和模型加载
- 可定制性弱：底层参数不能随便改
适合：请求量波动大、任务型调用、快速验证、不想投入运维的场景。
四、三种形态的对比判断
| 维度 | ECS 自建 | 容器化 | Serverless |
|---|---|---|---|
| 运维负担 | 中 | 高 | 低 |
| 弹性能力 | 弱（需手工） | 强 | 强（平台托管） |
| 冷启动 | 无 | 无 | 有 |
| 定制能力 | 强 | 强 | 弱 |
| 长任务支持 | 好 | 好 | 受限 |
| 成本可预测性 | 高（固定） | 中 | 低（按量波动） |
| 上手门槛 | 低 | 高 | 低 |
判断顺序建议：
1. 是否需要长时间运行的任务（>15分钟）？→ 是则排除 Serverless
2. 流量是否波动剧烈（高峰是低谷的 10 倍以上）？→ 是则倾向 Serverless 或容器弹性
3. 是否要深度定制推理参数？→ 是则倾向 ECS 或容器
4. 团队有没有 K8s 能力？→ 没有则排除自建容器集群
5. 以上都不突出 → ECS 自建，简单可靠
五、GPU 场景的特殊注意事项
如果部署的是本地推理模型（而不是调 API），还有几个 GPU 专属问题：
显存不能超卖。 CPU 可以多个容器共享，GPU 显存不行。调度器要按整卡或按显存分片分配，否则会出现显存不足崩溃。
模型加载耗时。 加载几 GB 到几十 GB 的权重需要几十秒。容器化部署要想办法缩短这个时间——比如把权重放在共享存储、用镜像预热、让实例常驻不销毁。
量化与精度的权衡。 4-bit 量化能大幅降低显存需求，但会影响效果。选规格前要先定好量化方案。
并发与批处理。 推理框架通常支持动态批处理（多个请求合成一个 batch），能提升吞吐但增加单请求延迟。要按业务能接受的延迟来配。
六、一个务实的分阶段路径
不必一开始就上最复杂的方案：
第一步：ECS 单机部署，把业务跑通，验证效果和资源需求。这个阶段关注的是"能不能用"。
第二步：量上来之后，把应用层和模型层拆开，应用层加机器做负载均衡，模型层单独扩容。这个阶段关注"扛不扛得住"。
第三步：如果多模型、多环境、频繁发布，再考虑容器化，把部署标准化。这个阶段关注"管不管得好"。
很多团队跳过第一步直接上 K8s，结果在集群配置上耗掉大量时间，业务反而没验证清楚。
七、写在最后
部署形态没有优劣，只有匹配。ECS 换的是可控性，容器换的是弹性与一致性，Serverless 换的是免运维。先想清楚自己的流量特征、任务时长、团队能力，再选形态，比照着"业内都用什么"选要靠谱。
当前的算力活动与实例规格信息可以看官方页面——查看阿里云 ECS 算力活动与实例选型。具体规格与价格以页面实际展示为准。
你们的模型服务部署在什么形态上？遇到过冷启动或扩缩容的问题吗？评论区聊聊。
