当团队希望在现有搜索系统中快速集成大模型问答能力，核心诉求往往不是从零训练或部署私有 LLM，而是以最小工程代价、最短验证周期，交付可度量、可迭代的对话式搜索体验。智能开放搜索 OpenSearch 提供了明确分层的现成路径：LLM 智能问答版（SaaS 化 RAG 服务）与向量检索版 + 外接模型（PaaS 化灵活编排）双轨并行。二者并非互斥替代，而是在数据敏感性、响应延迟、定制深度与运维成本四个维度上形成清晰取舍。本文聚焦配置实操与功能验证，不讨论模型微调或向量模型选型，而是说明：如何基于控制台完成端到端接入、哪些配置项直接影响问答质量、以及如何设计轻量但有效的效果验证方法。
LLM 智能问答版：开箱即用的 RAG 全链路封装
该版本是面向企业知识库、客服问答、内部文档检索等场景的一站式解决方案。其本质是将非结构化数据处理、文本切片、向量化、混合检索（关键词+向量）、重排序（Reranker）、LLM 生成与结果后处理等环节全部内置，用户仅需完成三步配置即可启用：
- 数据接入：上传 PDF/Word/Excel/网页等文件，或通过 API 同步结构化数据（如数据库字段映射为文档元信息）；系统自动执行 OCR（图文）、表格识别、标题层级提取与语义分块（非固定长度切片，而是按段落逻辑与标题边界划分）；
- 检索配置：在控制台启用「混合检索」开关，设置关键词召回权重（BM25）与向量召回权重（默认 1:1），可选开启 Qwen-Reranker 进行跨模态相关性精排；
- 问答生成：选择预置 Prompt 模板（如“简洁回答”“引用原文出处”“多轮上下文保持”），或自定义系统提示词（system prompt），指定调用 Qwen3.5 或 Qwen3.5-Max 等百炼平台模型。
关键验证点在于：是否真正触发了 RAG 流程而非纯 LLM 自由生成？可通过控制台「查询日志」查看每条请求的完整链路——包括原始 Query、召回的 Top3 文档片段（含来源 URL 与匹配分数）、Reranker 输出的重排顺序、以及最终 LLM 输入的 context 拼接内容。若日志中缺失文档片段或 context 为空，则说明数据未成功索引或检索策略未生效，需回溯切片质量与向量模型配置。
向量检索版 + 外接 LLM：可控性优先的 PaaS 编排模式
当业务需要对接自有大模型（如私有部署的 Qwen 或第三方 API）、定制召回逻辑（如按文档类型加权过滤）、或融合外部信号（如用户角色权限、实时库存状态）时，向量检索版更适合作为基础底座。其配置流程为：
- 首先在向量检索版集群中创建向量索引，指定 embedding 模型（Qwen-Embedding 或自定义模型 endpoint）；
- 通过 SDK 或 OpenSearch Search Development Workbench 调用
vector_search接口完成向量检索，返回带 score 的文档 ID 列表； - 在应用层完成 context 组装（例如拼接 top-k 片段 + 加入业务规则提示），再调用百炼平台或自有 LLM API 生成答案；
- 可选接入 AgenticSearch Memory API 实现多轮对话状态管理，避免重复检索或上下文丢失。
此模式下，LLM 问答效果的瓶颈往往不在模型本身，而在向量检索阶段的精度。典型问题包括：长文档关键信息被切片稀释、技术术语向量距离失真、多跳推理所需前置知识未被召回。验证需分层进行：先确认向量检索返回的 top-3 片段是否包含回答所需的全部事实（人工抽检），再检查 LLM 是否准确引用这些片段（而非幻觉生成）。若召回不准，应优先优化切片策略（如启用标题感知分块）或调整 embedding 模型粒度，而非直接更换 LLM。
功能验证：用三类测试集覆盖核心能力边界
配置完成后，需设计可复现的验证方法，而非依赖主观体验。建议构建以下三类测试用例：
- 事实一致性测试：选取知识库中明确陈述的事实（如“公司差旅报销标准为 500 元/天”），构造 5–10 个不同问法（“每天报销多少？”“出差一天能报多少？”“差旅标准上限？”），验证答案是否一致且未添加未提及信息；
- 拒答能力测试：输入知识库完全未覆盖的问题（如“竞品产品的发布时间？”），检查系统是否返回“暂无相关信息”等兜底响应，而非强行编造；
- 上下文鲁棒性测试：对同一主题发起多轮追问（Q1：“服务器重启命令是什么？” → Q2：“那怎么查看重启日志？”），验证是否能关联前序上下文，避免重复提问或答非所问。
所有测试均应在相同 query 下对比「纯 LLM 自由生成」与「OpenSearch RAG 增强」的结果差异，并记录响应延迟（P95 < 2s 为可用基线）。若 RAG 版本延迟超标，需检查向量检索并发数或启用缓存策略；若拒答率高，则需优化知识库覆盖率或调整检索相似度阈值。
选型决策：何时用智能问答版，何时选向量版编排？
| 维度 | LLM 智能问答版 | 向量检索版 + 外接 LLM |
|---|---|---|
| 上线速度 | 控制台上传即用，< 1 小时完成首测 | 需开发集成代码，通常 1–3 天 |
| 数据主权 | 内容经阿里云处理，符合等保三级要求 | 全链路可控，支持私有模型与本地向量计算 |
| 定制自由度 | 限于预置模板与权重调节 | 支持任意 Prompt 工程、多源召回融合、业务逻辑注入 |
| 成本模型 | 按 token 使用量计费，含模型调用与向量计算 | 向量检索按节点规格计费，LLM 调用单独计费 |
若目标是快速验证 LLM 问答价值（如支撑内部 IT Helpdesk），首选智能问答版；若已具备成熟 MLOps 流程，或需将搜索深度嵌入业务工作流（如 ERP 中的合同条款问答），则向量检索版提供更可持续的演进路径。二者均可作为 AgenticSearch 的基础组件，在未来升级中接入规划引擎与记忆机制，实现从“被动应答”到“主动推理”的跃迁。
参考文献
- 《Agentic Search + Memory：当企业研究遇上"会思考的搜索"》 https://mp.weixin.qq.com/s/ZehDGyjsPR2NHFurzX9-0g
- 《构建高转化海外电商搜索：阿里云OpenSearch行业算法版的全链路智能优化策略实战》 https://mp.weixin.qq.com/s/ZwHsfwc70_9vrf-PiFqu4g
- 《AI Search × ES Agent Builder 最佳实践：企业智能助手落地指南》 https://mp.weixin.qq.com/s/-ms-k8spKtrxvocssO1mog
- 《阿里云AgenticSearch登顶GAIA Agent榜单Top1！》 https://mp.weixin.qq.com/s/lFjmrGS1yc-VJEu_TyOXEg
- 《基于Agentic Memory API实现OpenClaw长记忆增强》 https://mp.weixin.qq.com/s/coDGE7bjC9KyPSLwLKANkw
- 《OpenSearch - LLM-based Intelligent Q& A Edition - OpenSearch - Alibaba Cloud Documentation Center》 https://www.alibabacloud.com/help/en/open-search/llm-intelligent-q-a-version/llm-getting-started/
- 《Call Model Services from the AI Search Open Platform - OpenSearch - Alibaba Cloud Documentation Center》 https://www.alibabacloud.com/help/en/open-search/vector-search-edition/call-the-search-development-workbench-model-service
- 《Billing overview of OpenSearch LLM-Based Conversational Search Edition - OpenSearch - Alibaba Cloud Documentation Center》 https://www.alibabacloud.com/help/en/open-search/llm-intelligent-q-a-version/product-billing/
- 《Build a conversational search solution based on OpenSearch Vector Search Edition and an LLM - - Alibaba Cloud Documentation Center》 https://www.alibabacloud.com/help/en/open-search/vector-search-edition/integrate-opensearch-with-an-llm-for-intelligent-operation-and-maintenance
- 《基于RAG搭建知识库在线问答- 智能开放搜索OpenSearch》 https://www.alibabacloud.com/help/zh/open-search/search-platform/user-guide/building-knowledge-base-online-q-a-based-on-rag
