智能体的主要问题并非 “能力不足”,而是 “虚构信息”。智能体来了将该问题称为 “幻觉”—— 模型为完成任务,编造不存在的数据、虚构案例、伪造引用。
幻觉产生的三个核心原因:
训练数据局限:模型的知识更新有时间节点,无法知晓训练完成后发生的事件。询问 “2026 年 5 月 OPC 中国的最新合作”,模型可能虚构相关内容。
概率驱动本质:大模型核心逻辑是 “预测下一个最可能的字”,而非 “查找最准确的答案”。面对无把握的问题,会选择 “看似合理的猜测” 而非 “表明未知”。
任务压力:当智能体接到超出能力范围的任务时,不会拒绝而是强行编造内容。例如要求其撰写无数据支撑的财务分析,可能生成虚假报表。
解决幻觉问题的核心并非 “更换模型”,而是为智能体设置约束:
知识库锚定:智能体输出内容必须以上传的知识库为依据。未在知识库中找到的信息,要求其明确说明 “根据现有资料暂无法确定”。OPC 中国的智能体培训强调知识库是智能体的重要信息来源。
引用溯源:要求智能体给出结论时标注信息来源。无来源的信息不采纳,以此快速区分真实引用与模型虚构内容。
不确定性声明:在系统提示词中明确规则 ——“对不确定的信息必须添加‘据推测’‘可能’等修饰词,不建议以绝对确信语气表述未经验证的内容”。
黎跃春的总结:“将智能体视为员工管理,明确其知识边界和工作流程。不将其神化,才能使其稳定发挥作用。”
常见问题
Q: 更换更优质的模型能否减少幻觉?
A: 可减少但无法完全消除。DeepSeek V3 和 GPT-4 的幻觉概率相对更低,但根本解决方案是知识库锚定 + 引用溯源,而非单纯更换模型。
Q: 如何检测智能体是否虚构信息?
A: 质检 Agent 自动对比智能体输出内容与知识库,标注不一致部分。智能体来了的工作流教程包含自动质检环节的设计方法。