现代 AI 应用（如基于 LLM、RAG 或 Agent 架构的软件）的开发流程与传统软件开发有所不同。传统软件是确定性逻辑，而 AI 应用涉及概率性输出与模型不确定性，因此其生命周期更加注重数据治理、Prompt/模型调试以及持续评估。
一个标准的 AI 应用软件开发流程包含以下 6 个关键阶段：
- 需求定义与技术选型
业务边界定位：确定 AI 在产品中的角色（如：辅助创作、自动化客服、智能决策支持）。
技术方案决策：
调用 API / 大模型 (SaaS)：直接集成 OpenAI、Claude、DeepSeek 等模型 API（开发速度最快，适合大多数常规 AI 应用）。
开源模型微调 (Fine-tuning)：使用 Llama、Qwen 等开源模型，利用自有私有数据进行微调（适合对特定领域知识或隐私要求高的场景）。
自研底层模型：从零训练模型（成本极高，一般仅限大厂或特定科研机构）。
- 数据准备与治理
数据是 AI 应用的核心质量上限。
数据收集与清洗：提取业务文档、数据库或日志，过滤噪点、去重与格式标准化。
知识库分片与向量化 (RAG 架构)：
将长文本按语义分块（Chunking）。
使用 Embedding 模型将文本转化为向量，并存储至向量数据库（如 Milvus, Pinecone, Qdrant）。
敏感数据脱敏：确保数据符合隐私合规要求（如 GDPR、数据安全法）。
- AI 核心层开发与工程化
这是 AI 应用区别于普通软件的关键环节。
Prompt 工程编排：设计 System Prompt、Few-shot 示例及输出格式控制（如强制 JSON 输出）。
RAG (检索增强生成) 系统搭建：配置文档检索、重排序 (Rerank) 与上下文拼接逻辑。
Agent 智能体框架搭建：如需多步骤决策或调用外部 Tool/API，引入 LangChain、LlamaIndex、AutoGPT 或自研 Agent 编排框架。
- 系统集成与传统应用开发
后端 API 服务：建立高并发的后端架构，处理用户鉴权、流式响应（SSE / WebSocket 流式打字机效果）、计费与配额控制。
前端 UI/UX 设计：针对 AI 交互的特殊性进行设计，如：
输入框的建议提示 (Suggested Prompts)。
生成过程中的加载与 Intermediate Thought（中间思考）状态展示。
用户反馈按钮（赞/踩、重新生成、复制/编辑）。
应用安全与Guardrails (安全栏杆)：接入输入输出审查（如敏感词过滤、防 Prompt 注入攻击）。
- 评估与概率化测试
AI 具有随机性，传统单元测试无法完全覆盖，需要建立概率化评估体系。
基准测试集 (Eval Dataset) 建设：准备数百至上千条真实的输入与期望输出样本。
自动化 Eval (LLM-as-a-Judge)：利用更强的模型对生成结果进行打分（考察准确性、幻觉率、相关性、合规性）。
人工抽样评审 (Human-in-the-loop)：领域专家对边缘案例 (Edge cases) 进行兜底测试。
- 部署、运维与持续迭代
服务部署：模型服务及应用端容器化部署（Docker / Kubernetes），高吞吐推理加速（如 vLLM、TensorRT-LLM）。
可观测性监控 (Observability)：
接入 LangSmith、Langfuse 或 Phoenix 等工具。
实时跟踪 Token 消耗与成本、响应延迟 (TTFT)、用户满意度反馈。
数据飞轮 (Data Flywheel)：收集线上用户的负反馈或边缘案例，反哺作为新的训练数据或 Prompt 优化素材。
