RAG已死,上下文为王?

简介: 本文探讨了“RAG已死,上下文为王”的热议话题,指出RAG与上下文工程本质是概念混淆。上下文工程通过“原子、分子、细胞、器官”层级构建,提升大模型推理效果。文章结合GitHub项目,系统讲解如何科学组织上下文信息,优化LLM应用性能。

最近看到很多的文章都在写“RAG已死,上下文为王”,YB上也非常多的相关的内容。这让我这个刚接触AI应用的初学者感到非常疑惑。在阅读https://github.com/davidkimai/Context-Engineering 后,我对大模型应用有了不一样的理解。

先说结论:RAGContext-Engineering只是概念上的混淆。只是RAG并不能准确描述大模型应用技术,采用上下文工程这个更精确、更高价值的概念来代替。

那么什么是上下文工程?下面一张图就能说明上下文工程。在https://github.com/davidkimai/Context-Engineering中,将上下文工程以生物学隐喻的方式进行展开,图也是基于相关文章进行整理绘制的。

"Context engineering is the delicate art and science of filling the context window with just the right information for the next step." — Andrej Karpathy
"上下文工程是一门精妙的艺术和科学,为下一步填充恰当的信息到上下文窗口中。"

上下文是在推理时提供给 LLM 的完整信息负载,包括模型为合理完成给定任务所需的所有结构化信息组件。废话不多说,先上图:
1000022907.png

原子:提示词的基本单位

完成一个任务所需要的最基本的prompt,由于提供信息过少,模型难保持一致性。
1000022926.jpg

分子:将提示词与示例结合

通过小样本学习的方式做到更高精度和一致性,同时借助外部示例数据库还能实现动态分子(不同任务检索示例数据库提供最相关的示例)。
1000022927.jpg

细胞:添加记忆和状态

默认情况下大模型不具备记忆功能,大模型会忘记先前交互中的信息导致用户体验不连贯

直接将所有历史消息则会导致上下文窗口被填满,因此合理的记忆管理策略十分重要。
1000022928.jpg

器官

上下文器官协调多个LLM细胞来解决任何单个上下文都无法解决的问题。由指挥者、共享记忆、以及专业细胞通过相应的合适所需应用的控制流模式结合组成。

各司其职的器官共同组成一个完整的认知系统。
1000022929.jpg

目前构建器官可能会面临的挑战:

  • 错误可能通过系统传递
  • 编排增加了复杂性和延迟
  • 关键信息可能在细胞之间丢失
  • 复杂的交互难以追踪,调试困难
  • 多次调用LLM增加总token成本
  • 系统设计复杂性高,需要仔细规划和测试

器官构建的最佳实践方式:

  • 从最小化器官开始,根据需要增加复杂性
  • 在隔离状态下测量每个细胞的性能
  • 需要定义细胞之间的清晰输入输出格式
  • 跟踪所有细胞之间的通信
  • 设计细胞处理意外输入
  • 添加专门的细胞来检查输出
  • 先构建基本功能再添加
  • 识别并并行化独立任务

本文参考:https://github.com/davidkimai/Context-Engineering
1000022930.jpg

相关文章
|
5月前
|
传感器 人工智能 边缘计算
智能就在身边:AI如何优化边缘计算
智能就在身边:AI如何优化边缘计算
334 2
|
SQL 关系型数据库 MySQL
Python 数据库访问与ORM框架——打造高效开发利器
Python 作为一门广泛使用的编程语言,其在数据库访问方面也有着较为成熟的解决方案,其中ORM框架更是成为了开发者们的首选。本文将介绍 Python 中数据库访问和 ORM 框架的基本概念,以及如何使用 SQLAlchemy 这一优秀的 ORM 框架进行开发。
|
5月前
|
机器学习/深度学习 人工智能 运维
运维告警别乱飞了!AI智能报警案例解析
运维告警别乱飞了!AI智能报警案例解析
600 0
|
4月前
|
人工智能 定位技术 数据库
工具设计+动态检索:上下文工程如何让AI智能体像人类一样思考?
本文深入解析AI Agent时代的上下文工程,阐述其从提示工程的演进逻辑,剖析系统提示、工具设计与示例策划三大核心,并探讨长时程任务应对策略,揭示高效信息流管理对构建可靠Agent的关键作用。建议收藏细读。
450 0
|
3月前
|
SQL XML 自然语言处理
Text2SQL 破局技术解析之一:规范文本与灵活性
润乾NLQ创新采用“规范文本”作为中间层,将自然语言转SQL分为三阶段:LLM生成可读的规范文本,用户确认意图后,通过规则引擎转为MQL再生成准确SQL。该方案兼顾灵活性、准确性与复杂查询支持,大幅降低企业实施成本,为人机协同的Text2SQL提供了可行的工程化路径。
|
5月前
|
异构计算
基于MATLAB的NSCT(非下采样轮廓波变换)实现
基于MATLAB的NSCT(非下采样轮廓波变换)实现
165 5
|
2月前
|
人工智能 自然语言处理
构建AI智能体:四十一、大模型思维链提示工程:技术原理与行业应用案例分析
本文介绍了思维链提示技术及其应用。思维链提示是一种引导大模型进行逐步推理的提示工程技术,通过结构化提示模拟人类解决问题的逻辑分析路径,使模型能够显式化中间推理步骤,从而提升推理准确性与可解释性。文章详细阐述了思维链提示的关键特征(步骤可解释性、逻辑链条完整性、问题分解能力)和工作原理,并通过数学推理、逻辑分析和多轮复杂问题三个案例展示了其具体应用流程。该技术在教育辅导、商业决策和科研分析等领域具有重要价值,能够突破传统大模型的黑箱推理瓶颈,提高AI系统的决策透明度和可靠性。
490 13
|
9月前
|
人工智能 文件存储 数据中心
Ollama部署本地大模型并通过Infortress APP远程访问保姆级教程
本文介绍如何快速上手本地大模型部署工具Ollama及AI远程访问工具Infortress。通过Ollama,开发者可轻松部署如Llama、Deepseek等主流开源模型,仅需几行命令即可完成安装与运行。结合Infortress,用户能实现对本地大模型的远程访问,支持多设备无缝对接,同时提供便捷的模型切换与知识库管理功能。Infortress更兼具NAS软件特性,成为个人AI数据中心的理想选择。
|
5月前
|
前端开发 安全 Java
基于springboot+vue开发的会议预约管理系统
一个完整的会议预约管理系统,包含前端用户界面、管理后台和后端API服务。 ### 后端 - **框架**: Spring Boot 2.7.18 - **数据库**: MySQL 5.6+ - **ORM**: MyBatis Plus 3.5.3.1 - **安全**: Spring Security + JWT - **Java版本**: Java 11 ### 前端 - **框架**: Vue 3.3.4 - **UI组件**: Element Plus 2.3.8 - **构建工具**: Vite 4.4.5 - **状态管理**: Pinia 2.1.6 - **HTTP客户端
686 4
基于springboot+vue开发的会议预约管理系统