面向技术负责人的实践文。我们在多个中小企业项目里反复验证了一条路径：先用阿里云百炼把应用和评测跑通，再把数据敏感、调用量大的部分平滑迁到 PAI-EAS 等自建推理。本文讲清楚每一段用什么、为什么这么切、迁移时怎么保证应用不返工。产品能力以阿里云官方文档为准。
- 为什么不建议第一步就私有化
"部署 DeepSeek 多少钱"之所以没法直接答，是因为它至少是三件事：调云端模型 API、搭轻量 RAG、自建 GPU 全量私有化，成本相差一到两个数量级。绝大多数项目失败，不是模型不够强，而是场景没验证就先买了卡。
我们的标准动作是把落地拆成三段，每段都能独立产生价值、且能平滑进到下一段。
- 第一段：百炼上做应用原型与效果验证（天级）
用阿里云百炼（模型服务与应用开发平台）起步：
直接调用通义千问、DeepSeek 等多种模型，按 token 付费，零硬件；
用平台的 RAG/应用能力接入企业文档，快速做出问答 Demo；
关键是同步建立应用层的抽象：业务代码只调你自己的一个服务地址，模型名、Prompt、检索配置都做成可配置项。
这一段要交付的不是 Demo，而是两样资产：
评测集：20–50 条真实业务问题 + 参考答案/应答中的资料，用于后面所有迭代的回归；
调用与成本数据：日均 token、峰值、各模型效果对比，用来判断私有化是否真的省钱。
- 第二段：轻量 RAG，把知识掌握在自己手里
验证成立后，把"知识"这一层独立出来。数据不敏感时仍可用百炼的应用与向量能力；当资料要求可控时，检索链路自建：
文档解析与结构化切片（按标题/条款，保留 overlap，表格单独处理）；
向量库可选用 AnalyticDB/达摩院开源系或自建向量库；中文 embedding；
生成仍可在百炼调用通义/DeepSeek，形成"知识在内、生成在云"的混合形态。
RAG 效果的四个硬做法：
只依据召回内容作答，召回为空明确回复"知识库中没有"，杜绝硬编；
答案必须带引用条目，可追溯、可核对；
切片策略优先于换模型，坏案例大多是召回问题；
每次调整都用第一段的评测集回归，用命中率说话。
- 第三段：PAI-EAS / 自建 GPU 承接敏感与高并发
当出现"核心数据不出域"或"调用量大到按量更贵"时，把生成侧也迁到自建推理：
在 PAI（人工智能平台）的 EAS 等模型服务上部署开源模型，或在 GPU 云服务器上用 vLLM 自建，暴露 OpenAI 兼容接口；
因为第一段就把应用写成只认一个 endpoint，迁移时主要改路由配置，业务代码不返工；
满血大参数模型需要多卡/多机，资源规划要结合上下文长度、KV cache、量化和目标并发，用真实流量压测，而不是看宣传的"一张卡满血跑"。
- 关键设计：一个路由层屏蔽"云/自托管/多模型"差异
三段能平滑演进，核心是中间这层路由：
plaintext
业务应用（客服 / 知识助手 / 内容生成）
│ OpenAI 兼容协议 + 鉴权 + 日志 + 成本
▼
模型路由网关
┌──────────┬───────────┬────────────┐
百炼云端模型 自建vLLM 备用/其他模型
(通义/DeepSeek) (PAI-EAS) (故障/成本降级)
└──────────┴───────────┴────────────┘
按场景路由：客服走稳定低成本模型，复杂推理走 DeepSeek，敏感问答走内网模型；
按健康度/成本降级：某渠道限流或涨价，切备用渠道；
开源网关（LiteLLM、One-API 等）可统一管理多家 key、配额与统计，自建也很轻。
- 安全要分级，别被口号带偏
"上云不安全 / 本地绝对安全"都不准确：
云端可通过 VPC、数据脱敏、关闭数据用于训练、签订数据处理条款来满足多数非核心场景；
自建不等于安全，内网的鉴权、知识库分部门授权、日志审计、主机和模型更新同样要做；
医疗、政务等强监管的大型项目通常由云厂商/运营商/大集成商承接；中小机构更适合在合规前提下先做非核心、轻量化应用（内部知识、导诊辅助、运营提效），不替代专业判断。
上线前检查清单（我们每个项目都过一遍）
有 20–50 条评测集并跑出基线命中率；
切片按文档结构、答案带引用、无召回会兜底；
应用只依赖统一接口，模型与路由可配置；
敏感知识链路已在可控网络内，权限按部门隔离；
用真实并发压测过自建推理的显存与延迟；
合同里写了知识更新、培训、运维响应，而非只验收"上线"。小结
百炼验证 → 轻量 RAG 沉淀知识 → PAI/自建 GPU 承接敏感与高并发，配合一个 OpenAI 兼容的模型路由层，就能在不返工的前提下渐进落地。决定成败的更多是知识治理、评测体系和持续运营，而不是第一步选了哪个模型。
作者：昆明一支企业大模型落地团队（奇崛 AGI 研究院），做大模型云端/本地部署、RAG、Agent 定制与企业内训，在阿里云、腾讯云、火山引擎、智谱等生态上落地。本文为通用工程实践，具体产品与配额请以阿里云官方文档为准。
