大家好,我系程序员鱼皮,今天给大家完整分享一下《AI 大模型应用开发学习路线》。
2 万多字,内容很干,建议收藏,慢慢食用。
最近几年,AI 大模型已成为科技领域最热门的话题之一,AI 大模型应用开发也成了程序员求职市场上需求增长最快的方向。
如果你还停留在 “AI 应用开发就是调用一下 ChatGPT 接口” 的印象里,那这两年的变化可能会让你大吃一惊。
最开始,大家还在惊叹大模型能写诗、能聊天;没过多久,RAG 知识库问答就成了企业落地 AI 的标配;后来 DeepSeek 把推理模型带进了千家万户,MCP 协议让大模型第一次有了统一的 “万能插头”,Agent 智能体开始真正替人干活。
如今,GPT、Claude、Gemini、DeepSeek、Qwen、Kimi 等模型几乎每隔几个月就会迭代一版,模型已经能一口气自主工作好几个小时,Agent Skills、上下文工程、Harness 驾驭工程这些新概念也从论文和博客走进了大厂的招聘要求里。
那么,AI 大模型应用开发 到底是在做什么呢?
简单来说,就是 围绕现成的大模型,用工程化的手段做出真正好用的 AI 产品。我们一般不需要从头训练模型,而是要学会给模型提供合适的上下文、连接企业的数据和工具、编排复杂的执行流程,再通过评测、监控和优化,让 AI 在真实业务里稳定、安全、便宜地跑起来。智能客服、企业知识库、AI 编程助手、数据分析 Agent、AI 写作和 AI 修图工具,背后都是这套技术。
大模型就像是 AI 应用的大脑,我们要做的,是在它周围搭好提示词和上下文、企业知识库、工具调用、评测和监控这几块,最终把它打磨成真正好用的产品。

为什么现在一定要学它?
看看招聘市场就知道了。脉脉高聘发布的《Agent 重置职场》人才报告显示,新发的 AI 岗位数量同比增长了将近 8 倍,其中 AI 应用开发类岗位占比超过 60%,Agent 开发工程师成了企业最热招的岗位,FDE 前沿部署工程师的岗位量更是同比暴涨了 15 倍多。同时,传统的初级 CRUD 岗位却在收缩。
换句话说,企业砍掉的是 “像 AI 一样写标准代码的人”,抢着要的是 “能把 AI 用进业务的人”。
好消息是,AI 应用开发的门槛并没有想象中那么高。它和传统后端开发有大量相通的地方,接口调用、数据处理、缓存、异步、权限、监控,这些你熟悉的能力全都能用得上。
而且我的这条学习路线不要求你精通高等数学,也不要求你会训练模型,只要有一门编程语言的基础,就能沿着这份路线一步步上手。
完整的学习路线文字版可以在 编程导航 阅读和下载:codefather.cn/course/1789189862986850306
学习路线图

就业方向
学完这条路线后,你可以重点关注下面几类岗位。它们的技术栈高度重合,区别主要在于侧重点不同。
- AI 应用开发工程师:用大模型 API 和 AI 框架开发智能客服、知识库问答、AI 助手等业务功能,是岗位数量最多、门槛相对友好的方向
- Agent 开发工程师:负责设计和实现能自主规划、调用工具、完成复杂任务的智能体,是企业最热招的 AI 岗位
- Agent Harness / Agent 平台工程师:负责 Agent 运行时的底层能力,比如 Agent 循环调度、工具注册、上下文压缩、断点恢复和沙箱隔离,腾讯、美团、字节等大厂都在招
- FDE 前沿部署工程师:深入客户的业务现场,把 Agent 接入客户系统并跑通生产环境,要求技术和沟通能力兼备,是增长最快的新岗位
- AI 全栈工程师:既能做 AI 能力,又能做前端交互和后端服务,独立交付完整的 AI 产品,非常适合创业团队和独立开发者
- 大模型算法 / AI Infra 工程师:负责模型微调、推理部署和性能优化,对数学和底层功底要求更高,适合想往模型侧深入的同学
整体学习建议
在正式开始之前,我想先和你分享几条贯穿整条路线的学习建议,这些都是我自己和很多 编程导航 鱼友踩过坑之后总结出来的。
1)先当好 AI 的用户,再去做 AI 的开发者。
如果你连 Cursor、Claude Code 这些 AI 编程工具都没有深度用过,就很难理解一个好的 Agent 应该长什么样。所以我建议大家先花一周左右的时间,把主流的 AI 工具和 AI 编程工具玩明白,这样后面学习 Agent 开发时会更得心应手。
2)用 AI 学 AI,效率能翻好几倍。
现在学习新技术,完全可以让 AI 帮你解释概念、生成示例代码、排查报错。比如看不懂 RAG 的某个优化方案,直接把技术文章丢给 AI,让它用大白话讲给你听。我整理的 鱼皮 AI 导航 收录了上千个 AI 工具和大量 AI 资讯,可以帮你快速找到趁手的工具。

3)编程语言优先选择 Python。
大部分 AI 框架和开源项目都优先支持 Python,国内外的 Agent 岗位 JD 里有六成以上要求 Python。不过如果你是 Java 后端出身,也完全不用焦虑,国内不少大厂的 Agent 平台就是用 Java 或 Go 写的,可以在本路线的基础上,配合 Java AI 应用开发学习路线 快速上手,之后再慢慢补 Python。
4)先学会调用 API,再去学框架;先用工作流,再用 Agent。
很多同学一上来就啃 LangChain 源码,结果被各种抽象绕晕。正确的顺序是先用原生 API 把对话、流式输出、工具调用都跑通,理解底层发生了什么,再用框架提效。同理,能用固定流程解决的问题就别急着用 Agent,这也是 Anthropic 等大厂反复强调的经验。
5)评测能力最能拉开新手和高手的差距。
面试官现在默认你会写 Agent,他更想知道的是 “你怎么证明它变好了”。所以从做第一个正式的项目开始,最好就能养成建测试集、量化效果的习惯。
6)一定要做能上线、能讲出数据的项目。
AI 方向的招聘越来越看重真实落地经验,会背 API 不值钱,能讲清楚你的 Agent 每天处理多少请求、错在哪里、怎么修好的,才是真本事。
很多同学就卡在这一步:跟着教程做完了项目,面试官一问 “每天多少请求、错误率多少、出了问题怎么修的” 就答不上来。如果你已经有工作或实习经历,想把真实的工作经历和 AI 项目结合起来,讲出一个经得起追问的项目,可以了解一下我们的 AI 大模型全栈开发训练营。

7)先想清楚你要投应用岗还是算法岗。这份路线的主线面向 AI 应用开发和 Agent 开发岗位,机器学习和深度学习只需要了解。如果你的目标是大模型算法岗,就要在学 RAG 和 Agent 之前,先花两到三个月系统学习机器学习、深度学习和 NLP,具体内容放在阶段 8 里。
时间规划方面,如果你已经有一门编程语言和一定的开发基础,每天投入 3 到 4 个小时,大约 2 到 4 个月就能走完主线并做出 2 到 3 个像样的项目(仅供参考)。完全零基础的同学也可以先花 1 到 2 个月补充编程基础。
在职的同学如果每天抽不出 3 到 4 个小时,也不用把整条路线从头走到尾。我们训练营 的导师会根据你的背景和目标岗位做 1 对 1 规划,优先学面试真正会考的部分。
阶段 0:AI 编程和 AI 工具上手(7 天,仅供参考)
在正式写代码之前,我们先从 “用” 开始。这个阶段不需要任何编程基础,目的是让你对 AI 的能力和局限有一个直观的感受。
目标
熟练使用主流的 AI 对话产品和 AI 编程工具,能用 AI 快速做出小项目,建立对大模型能力边界的直觉。
知识点
通用 AI 工具【必学】
- 国外产品:ChatGPT、Claude、Cursor、Gemini、Grok
- 国内产品:DeepSeek、豆包、通义千问、Kimi、智谱清言、腾讯元宝、DeepSeek Harness
- 核心玩法:多轮对话、联网搜索、深度研究(Deep Research)、文件分析、图片理解和生成
AI 编程工具【必学】
- AI 代码编辑器:Cursor、Trae、Qoder、CodeBuddy 等
- AI 命令行工具:Claude Code、Codex CLI、Gemini CLI 等
- 核心能力:Agent 模式、Plan 计划模式、规则文件(
AGENTS.md)、MCP 扩展、Agent Skills 技能包、子智能体和 Agent Teams - 规范驱动开发(SDD):先让 AI 和你一起写清需求规格、技术方案和任务清单,再按规格逐步实现,OpenSpec 等工具可以帮你落地这套流程
- 代码质量保障:审查 AI 生成的代码、用测试和 Git 兜底,避免能跑但逻辑混乱的代码混进主分支
Personal Agent 个人智能体【建议学】
- 什么是 Personal Agent:能长期运行、拥有记忆、可以主动帮你处理事务的个人 AI 助手
- 代表产品:OpenClaw、Hermes Agent、Grok Bot,以及各大厂推出的办公 Agent
学习建议
1)这个阶段不需要写一行代码,重点是 “多用”。建议把同一个问题分别丢给几个不同的模型,对比它们的回答风格、推理深度和速度,慢慢你就会形成 “什么任务该用什么模型” 的直觉,这对后面做模型选型非常有帮助。
2)AI 编程工具要亲自上手,用它们做几个小项目,比如个人主页、记账小工具、浏览器插件等。这样做一方面能大幅提升你后续的学习和开发效率,另一方面,Claude Code、Codex 这些工具本身就是世界上最成熟的 Agent 产品,用得越多,你就越能理解 Agent 的循环、工具调用和上下文管理是怎么回事。国内 Agent 岗位的 JD 里,有超过两成明确要求 “熟练使用 Coding Agent”,有的大厂岗位还会写上 “熟练掌握 SDD 开发范式”。
3)如果你是零基础,或者想系统地学习 AI 编程,可以直接看我免费开源的 《Vibe Coding 零基础入门教程》,上千张图、几十万字,从工具选择、对话技巧、上下文管理到项目实战和产品变现全都讲到了。喜欢看视频的同学,也可以跟着我录制的 《小白都能学的 AI 编程实战》视频课 从 0 开始做出完整的项目。

经典面试题
别小看这个阶段,根据对一轮秋招中 300 多场 Agent 岗面试的统计,“平时用哪些 AI Coding 工具、怎么用” 是被问到最多的问题之一,有三成多的候选人遇到过,和 RAG 并列第一。
- 你平时用哪些 AI 编程工具?Claude Code 和 Codex 有什么区别?
- Claude Code 这类工具是怎么管理和压缩上下文的?
- 你的项目有多少代码是 AI 写的?你是怎么保证 AI 生成代码的质量的?
- AI 审查完说代码没问题,这个结论可靠吗?
学习资源
- ⭐ 鱼皮的《Vibe Coding 零基础入门教程》:完全免费开源,系统掌握 AI 编程的工具、方法和项目实战
- ⭐ 鱼皮的《小白都能学的 AI 编程实战》视频课:手把手带你用 AI 从 0 跑通完整项目,配套经验技巧和 Bug 速查手册
- 鱼皮锐评 32 个 AI 编程工具:快速了解各类 AI 编程工具的优缺点,帮你选出最适合自己的工具
- 大厂都在卷的 Personal Agent,到底是什么?:鱼皮用 6 分钟讲清楚 Personal Agent 的概念和玩法
- OpenClaw 一键安装和保姆级教程:快速搭建属于自己的个人智能体
- 鱼皮 AI 导航:上千个 AI 工具、最新 AI 资讯和提示词大全
阶段 1:编程和工程基础(30 - 45 天,仅供参考)
玩转了 AI 工具之后,就要开始打地基了。AI 应用开发说到底还是软件开发,没有扎实的编程和工程基础,后面学什么都会很吃力。
目标
掌握 Python 编程和 Web 后端开发的基础,能独立写出一个带数据库的接口服务,并且会用 Git 和 Docker 管理和部署项目。
知识点
Python 编程【必学】
- 基础语法、数据结构、函数、面向对象
- 高阶语法:装饰器、生成器、上下文管理器、正则表达式
- 虚拟环境和依赖管理:venv、uv、pip
- 类型注解和 Pydantic 数据校验
- 并发编程:多线程、多进程,以及
async/await协程(AI 应用大量依赖异步 IO) - 常用库:requests / httpx、json、pathlib、logging
数据处理【建议学】
- NumPy 和 Pandas:清洗和处理 Excel、CSV 等表格数据,做知识库和评测集时经常用到
- Streamlit 或 Gradio:用几十行代码快速搭出 AI 应用的演示界面
Web 后端开发【必学】
- FastAPI 框架:路由、依赖注入、请求校验、异步接口
- HTTP 协议、RESTful API 设计
- SSE 和 WebSocket 实时通信
- 数据库:MySQL / PostgreSQL 基础,以及 Redis 缓存
- 消息队列基础:RabbitMQ、Kafka 等,AI 应用里的长任务和异步处理经常用到
工程工具【必学】
- Git 版本管理
- Linux 常用命令
- Docker 容器化部署
前端基础【建议学】
- HTML、CSS、JavaScript 基础
- TypeScript、React 或 Vue 框架(想做 AI 全栈的话必学)
学习建议
1)如果你是完全零基础,可以先按照 Python 学习路线 系统学习,不需要把 Python 学到多深,能熟练写脚本和接口服务就够了。
2)FastAPI 是目前 Python AI 应用最常用的后端框架,它天生支持异步和类型校验,和大模型的流式输出搭配得非常好。建议学完基础语法后,直接用 FastAPI 写一个带数据库的小项目练手。
3)Java 后端同学可以把这个阶段的重点放在 Python 语法和异步编程上,Web 开发的思想是相通的,大概一到两周就能上手。
4)这个阶段可以大胆地用 AI 编程工具辅助学习,比如让 AI 解释陌生语法、帮你生成练习题、Review 你写的代码。但要注意,核心代码最好自己先敲一遍,否则很容易 “一看就会,一写就废”。
学习资源
- ⭐ Python 学习路线:鱼皮整理的 Python 完整学习路线
- ⭐ 黑马程序员 Python + AI 大模型零基础到项目实战:播放量近 200 万的系统课程,从 Python 基础一路讲到大模型应用
- 黑马程序员 FastAPI 从入门到实战:涵盖路由、依赖注入、Pydantic、异步编程和 ORM,讲解细致
- FastAPI 官方文档:有中文版,示例清晰,边看边敲效率很高
- Git 和 GitHub 学习路线:AI 编程时代的 “后悔药”,必须掌握
- Docker 容器化学习路线:AI 应用部署上线必备
- 编程知识百科:用动漫的方式快速科普前后端和编程知识,适合补充技术常识
阶段 2:大模型基础认知(5 - 7 天,仅供参考)
有了编程基础,接下来要搞清楚我们打交道的对象,也就是大模型本身。只有理解了它的工作方式和能力边界,后面才能设计出靠谱的 AI 应用。
目标
理解大模型是什么、能做什么、不能做什么,掌握 Token、上下文窗口、推理模型等核心概念,能够根据业务需求做模型选型。
知识点
核心概念【必学】
- 什么是大语言模型(LLM):一个根据上文预测下一个 Token 的超大神经网络
- Token 和分词:为什么中文和英文的 Token 数量不一样,Token 怎么计费
- 上下文窗口:模型一次能 “看到” 多少内容,以及长上下文的代价
- 温度、Top-P 等采样参数:控制输出的随机性
- 幻觉:模型为什么会一本正经地胡说八道,以及如何缓解
模型能力类型【必学】
- 对话模型和推理模型(Thinking 模型):推理模型会先 “思考” 再回答,适合数学、编程、复杂分析等任务
- 多模态模型:理解图片、音频、视频,以及生成图片和视频
- Embedding 模型:把文本转换成向量,是 RAG 的基础
- Rerank 重排序模型:对检索结果重新打分排序
主流模型格局【必学】
- 闭源模型:OpenAI GPT 系列、Anthropic Claude 系列、Google Gemini 系列、xAI Grok 系列
- 国产模型:DeepSeek、通义千问 Qwen、Kimi、智谱 GLM、MiniMax、豆包、腾讯混元、美团 LongCat 等
- 开源和开放权重模型:Qwen、DeepSeek、Kimi、GLM、Gemma 等,可以私有化部署
- 模型选型的维度:能力、价格、速度、上下文长度、是否支持工具调用和多模态、数据合规
大模型的原理入门【建议学】
- Transformer 和注意力机制的通俗理解
- 预训练、指令微调、强化学习(RLHF / RLVR)三个训练阶段
- MoE 混合专家架构:为什么模型参数越来越大,推理成本却没有跟着暴涨
学习建议
1)这个阶段的重点是 “建立认知”,而不是 “啃原理”。你只需要把上面这些概念理解清楚,能用自己的话讲给别人听就足够了。至于 Transformer 的数学推导,等你真正需要做模型微调时再深入也不迟。
2)模型更新的速度非常快,几乎每个月都有重磅新模型发布,今天的最强模型可能下个月就被超越了。所以与其死记各个模型的版本号,不如学会 “怎么评估一个模型”。建议多关注 Arena(原 LMArena)和 Artificial Analysis 这类第三方评测榜单,同时养成用自己的业务数据实测的习惯。
3)理解模型的能力边界非常重要。很多同学刚接触大模型时会觉得它无所不能,结果做项目时被幻觉、上下文长度和输出不稳定搞得焦头烂额。提前了解这些局限,你在设计 AI 应用时才能有针对性地做兜底。
4)建议在这个阶段顺手做两件小事。一是用 Ollama 在自己电脑上跑一个小参数的开源模型,体验一下 “私有化部署” 是怎么回事;二是花半天时间在 Dify 上零代码搭一个带知识库的智能体。很多培训机构的大模型课程也都把这两步安排在比较靠前的位置,先建立整体印象,后面学 RAG 和 Agent 的原理时会更有方向感。
Ollama 的官网非常简洁,下载安装后在命令行输入一行命令,就能把开源模型跑在自己的电脑上。

经典面试题
- 什么是 Token?中文和英文的 Token 计算方式有什么区别?
- 推理模型和普通对话模型有什么区别?分别适合什么场景?
- 大模型为什么会产生幻觉?在应用层有哪些缓解手段?
- 聊一聊 Transformer 的架构和基本原理
- Transformer 和 LLM 有哪些区别
学习资源
- ⭐ 鱼皮的保姆级 AI 指南视频:一个视频掌握程序员必知必会的 AI 概念、工具和开发技术
- ⭐ 黑马程序员 AI 必学名词课程:用通俗的方式系统讲解 LLM、Token、Agent、Workflow 等核心名词
- Hugging Face LLM 课程:Hugging Face 官方出品的免费课程,有中文版
- Datawhale Happy-LLM:从零开始理解大模型原理,3 万多 Star 的开源教程
- OpenAI Tokenizer:在线体验文本是怎么被切分成 Token 的
- Arena 大模型竞技场:原 LMArena,由真实用户投票产生的模型排行榜
- Artificial Analysis:从智能程度、速度和价格等维度对比各家模型
阶段 3:大模型 API 开发(7 - 10 天,仅供参考)
理解了大模型是什么之后,就该动手和它打交道了。调用大模型 API 是 AI 应用开发的起点,后面所有的高级玩法都建立在这个阶段的基础上。
目标
熟练调用主流大模型的 API,掌握流式输出、结构化输出、工具调用等核心能力,能独立开发一个稳定可用的 AI 对话服务。
知识点
API 调用基础【必学】
- API Key 的申请和安全管理(千万不要把 Key 写死在代码里或提交到 GitHub)
- OpenAI 兼容接口:大部分国产模型和模型平台都兼容这套接口格式
- Chat Completions 接口和 Responses 接口的区别
- 消息角色:system、user、assistant、tool
- 官方 SDK 的使用:OpenAI SDK、Anthropic SDK
核心能力【必学】
- 流式输出:基于 SSE 实现 “打字机” 效果,以及断线重连、流式返回中工具调用参数的拼接和解析
- 结构化输出:通过 JSON Schema 让模型稳定输出指定格式的数据
- 工具调用(Function Calling / Tool Use):模型只负责生成调用请求,真正执行函数的是你的代码
- 多模态输入:图片理解、文档理解
- 推理模型的参数:思考预算、推理强度
多模态应用开发【建议学】
- 图片生成:调用文生图、图片编辑类模型的 API
- 语音能力:语音识别(ASR)、语音合成(TTS),以及实时语音对话
- 视频理解和生成:了解主流模型的能力和调用方式即可
生产级调用【建议学】
- Token 计算和成本估算
- 提示词缓存(Prompt Caching):重复的前缀只算一次钱,能大幅降低成本和延迟
- 错误处理:超时、限流、重试、降级到备用模型
- 批处理接口(Batch API):离线任务成本减半
- 模型网关:OpenRouter、LiteLLM 等统一接入多家模型,实现智能路由和故障切换
学习建议
1)调用大模型 API 其实和调用普通的 HTTP 接口没什么本质区别,难点在于理解它的 “不确定性”。同一个问题问两次,答案可能不一样;让它输出 JSON,偶尔也会多出几个字。所以从这个阶段开始,你就要有 “防御式编程” 的意识,对模型的输出做好校验和兜底。
2)工具调用是整条路线中最重要的知识点之一,后面的 Agent、MCP 全都建立在它的基础上。建议你用原生 API 亲手实现一遍,先定义一个查天气的函数,让模型决定是否调用它,然后由你的代码解析模型返回的参数、执行函数,再把结果交还给模型生成最终回答。走通这个流程,你就理解了 Agent 最核心的原理。
3)实践时推荐先用国产模型的 API,比如 DeepSeek、通义千问或智谱,价格便宜、注册方便,而且基本都兼容 OpenAI 接口格式,学会一套代码就能切换多家模型。
4)如果你想学习企业级的模型接入方案,可以参考鱼皮的 企业级 AI 网关项目,里面实战了多模型适配、智能路由、自动降级、分布式限流和计费系统,同时提供 Java、Go、Python 三种语言的教程。

经典面试题
- 流式输出有哪些实现方式?SSE 和 WebSocket 分别适合什么场景?SSE 断开了怎么办?
- 如何让大模型稳定地输出 JSON 格式的数据?流式输出只返回了一半 JSON 时怎么处理?
- 请描述一次完整的 Function Calling 流程,模型是如何决定调用哪个工具的?
- 如何降低大模型 API 的调用成本?Prompt Caching 的原理是什么?
- 在生产环境调用大模型 API 时,如何保证服务的稳定性?
学习资源
- ⭐ OpenAI API 官方文档:业界事实标准,强烈建议通读 Text、Structured Outputs、Function Calling 几个章节
- ⭐ DeepSeek API 文档:中文文档,价格便宜,兼容 OpenAI 格式,非常适合练手
- Anthropic Claude API 文档:工具调用、提示词缓存、扩展思考等能力讲得很细
- 阿里云百炼大模型平台:一站式调用通义千问等国内外主流模型
- OpenRouter:一个 Key 调用几百个模型,适合做模型对比和路由
- 鱼皮的企业级 AI 网关项目:多模型适配、智能路由和计费系统实战
阶段 4:提示词工程和上下文工程(7 - 10 天,仅供参考)
学会调用 API 之后,你很快会发现,同样的模型,给它什么样的输入,就决定了它能给出什么样的结果。这正是提示词工程和上下文工程要解决的问题。
目标
掌握编写高质量提示词的方法,理解上下文工程的核心思想,能够系统地管理 “喂给模型的所有信息”,并具备基本的提示词安全意识。
知识点
提示词工程【必学】
- 好提示词的构成:角色设定、任务描述、背景信息、约束条件、输出格式、示例
- 零样本和少样本提示(Few-shot)
- 思维链(Chain of Thought):对普通模型有效,对推理模型则要换一种写法
- 结构化提示:用 Markdown 或 XML 标签分隔不同部分
- 提示词的版本管理和迭代优化
上下文工程【必学】
- 什么是上下文工程:从 “怎么写好一句话” 升级到 “怎么组织模型看到的全部信息”
- 上下文的组成:系统提示词、对话历史、检索到的知识、工具定义、工具返回结果、记忆
- 上下文压缩(Compaction):对话太长时自动总结并开启新的上下文
- 结构化笔记:让 Agent 把进度和关键信息写到外部文件,需要时再读回来
- 按需加载:Agent Skills 渐进式披露的思想,只在需要时才加载详细说明
- 上下文污染和 “上下文腐烂”:为什么信息越多,模型反而越容易犯错
提示词安全【建议学】
- 提示词注入:直接注入和间接注入(通过网页、文档、邮件夹带恶意指令)
- 越狱攻击和防范
- 系统提示词泄露的防护
学习建议
1)提示词工程是 AI 应用开发中投入产出比最高的技能,同样的模型,提示词写得好不好,效果可能天差地别。不过这两年模型越来越聪明,那些 “你是一个资深专家,请深呼吸一步步思考” 的花式技巧已经没那么重要了,把需求讲清楚、把背景给充分、把格式定明确 才是永远有效的核心原则。
2)上下文工程是继提示词工程之后火起来的新概念,现在越来越多的 Agent 岗位 JD 会写上 “上下文管理”“上下文工程”,面试里也经常追问对话变长之后怎么办。它的核心思想很简单,模型的注意力是有限的,你要像管理内存一样管理上下文,只给模型当前最需要的信息。强烈建议精读 Anthropic 官方的 上下文工程文章,读完你会对 Agent 开发有全新的理解。
3)提示词优化要靠实验,而不是靠感觉。建议准备 20 到 30 条典型的测试问题,每次修改提示词后都跑一遍,对比效果再决定是否采用。这个习惯会在后面的评测阶段派上大用场。
4)关于提示词工程的更多细节,可以查看 Prompt Engineering 提示词工程学习路线。
经典面试题
- 什么样的 prompt 是好的 prompt?
- 你给 AI 预设的 Prompt 结构是什么样的?如何优化 Prompt?
- 提示词工程和上下文工程有什么区别?上下文过长会带来哪些问题?
- 什么是间接提示词注入?在 RAG 和 Agent 场景下如何防范?
- 对话轮次很多时,你会如何管理对话历史?
学习资源
- ⭐ Anthropic:Effective context engineering for AI agents:上下文工程的必读文章
- ⭐ Prompt Engineering 提示词工程学习路线:鱼皮整理的提示词工程完整路线
- OpenAI 提示词工程指南:官方出品,示例丰富
- Claude 提示词工程文档:讲解了 XML 标签、思维链、长上下文等实用技巧
- Prompt Engineering Guide 提示工程指南:开源的提示工程知识库,有中文版
- 鱼皮 AI 导航 - 提示词大全:收录大量可以直接复用的优质提示词
阶段 5:RAG 检索增强生成(15 - 20 天,仅供参考)
提示词和上下文只能调动模型已有的知识,但企业真正关心的往往是自己的私有数据。RAG 就是让大模型 “读懂” 企业知识的核心技术。
目标
掌握 RAG 的完整流程和主流优化方案,能够基于企业文档搭建一个检索准确、回答有依据、效果可评估的知识库问答系统。
知识点
RAG 基础【必学】
- 为什么需要 RAG:解决模型知识过时、不懂私有数据、容易幻觉的问题
- RAG 的核心流程:文档加载、文档切分、向量化、存储、检索、增强、生成
- 文档解析:PDF、Word、表格、图片的解析难点,以及 MinerU、Docling 等解析工具
- 文档切分策略:固定长度切分、按语义和结构切分、重叠窗口
- Embedding 模型:BGE、Qwen3-Embedding 等中文效果好的模型
- 向量相似度:余弦相似度、点积、欧氏距离
向量数据库【必学】
- 向量数据库的作用和原理:近似最近邻检索(ANN)、HNSW 索引
- 主流选择:Milvus(大规模分布式)、PGVector(已有 PostgreSQL 时首选)、Qdrant、Chroma(本地练手)、Elasticsearch
- 元数据过滤:按时间、部门、权限等条件筛选
检索优化【必学】
- 混合检索:关键词检索(BM25)和向量检索结合,再用 RRF 算法融合结果
- 重排序(Rerank):用 Cross-Encoder 模型对候选结果精排,性价比极高的优化手段
- 查询改写:多查询扩展、问题分解、HyDE 假设性文档,以及多轮对话中结合历史补全指代(比如把 “它怎么配置” 改写成完整的问题)
- 多路召回结果的合并去重:同一个文档块被多路命中时如何合并
- 索引优化:父子索引、摘要索引、假设性问题索引
- 引用溯源:让回答标明出处,便于用户核实
知识库工程化【必学】
- 权限过滤:在检索阶段就按用户权限过滤,而不是指望模型 “不说”
- 知识库的增量更新:文档新增、修改、删除后如何同步向量库,以及版本管理
- 冲突处理:检索到的内容和模型自身知识冲突、多个文档互相矛盾时怎么办
进阶 RAG【建议学】
- Agentic RAG:让 Agent 自己决定要不要检索、检索什么、检索几次
- GraphRAG 和 LightRAG:基于知识图谱的检索,擅长跨文档的多跳推理问题
- 多模态 RAG:检索图片、表格、图表中的信息
- Text2SQL:用自然语言查询结构化数据库
- RAG 和长上下文的取舍:什么时候直接把文档塞进上下文更划算
RAG 评估【必学】
- 检索指标:召回率、命中率、MRR、NDCG
- 生成指标:答案忠实度、答案相关性、上下文精确度
- 评估工具:Ragas 等
学习建议
1)RAG 是企业落地 AI 最普遍的场景,国内外的 AI 岗位 JD 里有一半以上都会要求 RAG 经验,所以这个阶段值得多花时间学扎实。建议先不用任何框架,用 Python 加一个向量数据库手写一个最简单的 RAG,彻底搞懂每一步在做什么,然后再用 LangChain、LlamaIndex 等框架提效。
下面这张图把 RAG 拆成了离线建库和在线问答两条线,你可以对照着它来理解每一步在做什么。

2)做 RAG 最常见的误区是一上来就追求 GraphRAG 这类高级方案。实际上,多项公开评测都表明,“混合检索加重排序” 这套朴素方案在大多数场景下就是性价比最高的选择,效果往往能追平图谱方案,成本却低一个数量级。所以优化的顺序应该是先把文档解析和切分做好,再加混合检索和重排序,最后才考虑更复杂的方案。
3)RAG 效果不好时,要学会先定位问题出在哪个环节。是文档根本没解析对?是该召回的内容没召回?还是召回了但模型没用上?每个环节的优化手段完全不同,这也是面试官最爱问的问题之一。
4)如果你想快速搭出可用的知识库,可以先体验一下 RAGFlow、Dify 这类开源平台,看看成熟产品是怎么设计的,再回过头来读它们的源码。关于 RAG 的更多细节,可以查看 RAG 检索增强生成学习路线。
经典面试题
- 什么是 RAG?RAG 的主要流程是什么?
- 什么是 RAG 中的 Rerank?具体需要怎么做?
- 当发现 RAG 系统召回结果与用户 query 意图不匹配时,有哪些可能的改进方向?
- 文档切分的粒度如何选择?切得太大或太小分别会带来什么问题?
- 混合检索是怎么实现的?RRF 融合算法的原理是什么?
- 如何评估一个 RAG 系统的效果?忠实度和相关性有什么区别?
- 什么场景适合用 GraphRAG?它的代价是什么?
- 你的项目为什么用 RAG 而不是微调?两者分别适合什么场景?
- 知识库的文档频繁更新,如何保证检索结果是最新的?
学习资源
- ⭐ RAG 检索增强生成学习路线:鱼皮整理的 RAG 完整路线
- ⭐ Datawhale All-in-RAG:RAG 技术全栈指南,覆盖数据处理、混合检索、Text2SQL、评估和图 RAG
- ⭐ 黑马程序员大模型 RAG 和 Agent 智能体项目实战:播放量近 400 万,基于 LangChain 从提示词讲到完整项目
- Milvus 官方文档:最流行的开源向量数据库,有中文文档
- RAGFlow:深度文档理解能力很强的开源 RAG 引擎,适合学习企业级 RAG 的设计
- LightRAG:轻量级的图谱 RAG 方案,成本比 GraphRAG 低很多
- Microsoft GraphRAG:图谱 RAG 的代表项目
- MinerU:高质量的 PDF 文档解析工具,对中文和公式支持很好
- Ragas:最常用的 RAG 评估框架
阶段 6:AI Agent 智能体开发(20 - 30 天,仅供参考)
RAG 让大模型学会了 “先查资料再回答”,而 Agent 则更进一步,让大模型学会了 “自己想办法把事情做完”。这是目前 AI 应用开发最热门、也最有挑战的方向。
目标
理解 Agent 的核心原理和设计模式,能够用主流框架开发出可以调用工具、拥有记忆、支持人工审批的 Agent,掌握 MCP、Agent Skills 等协议和标准,并了解多智能体协作、Harness 和 Super-agent 等运行时架构的设计方法。
知识点
Agent 核心原理【必学】
- 什么是 Agent:在循环中自主调用工具、朝着目标推进的大模型系统
- Agent 循环:思考、行动、观察(ReAct 范式)
- 工作流和 Agent 的区别:固定流程由代码控制,Agent 由模型自己决定下一步
- 业务场景拆解:把业务目标和流程拆成可执行的任务、工作流节点和 Agent 角色,明确每一步的输入输出、可用工具和人工介入点
- 常见的工作流模式:提示链、路由、并行、编排者 - 执行者、评估者 - 优化者
- 意图识别和路由:判断用户想做什么,把请求分发给对应的工作流或 Agent,处理一句话多个意图、口语化表达等情况
- 规划(Planning):任务拆解、Plan-and-Execute、反思和自我修正(Critic)
- 终止条件和死循环防护:最大步数、Token 和时间预算、重复操作检测
- 记忆(Memory):短期记忆(对话上下文)和长期记忆(向量库、知识图谱、用户画像),以及记忆的写入、检索、更新和遗忘策略
- 人机协作(Human in the Loop):在敏感操作前暂停,等待人工确认
工具设计【必学】
- 如何写好工具描述,让模型准确理解什么时候该用、怎么用
- 工具的粒度:不要简单地把每个 API 都包装成一个工具
- 工具返回结果的设计:返回对模型有意义的信息,同时控制 Token 消耗
- 工具数量很多时如何让模型选对:工具分组、按需检索工具、动态加载
- 工具调用的容错:参数校验、超时、按错误类型决定是否重试、指数退避、熔断降级,写操作必须保证幂等
- 常用内置工具:联网搜索、代码执行、文件读写、浏览器操作
协议和标准【必学】
- MCP 模型上下文协议:Host、Client、Server 架构,Tools、Resources、Prompts 三种能力,stdio 和 Streamable HTTP 两种传输方式
- MCP Server 开发:把自己的服务封装成 MCP Server,供 Cursor、Claude 等各种 AI 应用调用
- Agent Skills 技能包:用
SKILL.md给 Agent 封装可复用的专业知识和工作流程,理解它的组成和渐进式加载机制 - Skill、MCP、Function Calling、Workflow、Sub-Agent 的边界:各自解决什么问题,项目里怎么组合
- A2A 协议:让不同团队、不同框架开发的 Agent 互相发现和协作
AGENTS.md:给 AI 编程工具提供项目说明的通用规范
多智能体系统【建议学】
- 子智能体(Sub-Agent):主 Agent 把子任务分派出去,各自在独立的上下文里工作
- 任务移交(Handoff):在多个专业 Agent 之间切换
- 多智能体之间的通信、状态共享和结果汇总
- 多智能体的适用场景和代价:并不是 Agent 越多越好
Agent 开发框架【必学,选择 1 到 2 个深入】
- Python 生态:LangChain 和 LangGraph(国内使用最广)、LangChain 官方的 Deep Agents、OpenAI Agents SDK、Claude Agent SDK、Google ADK、Pydantic AI、CrewAI,以及偏 RAG 场景的 LlamaIndex
- TypeScript 生态:Vercel AI SDK、Mastra、LangGraph.js
- Java 生态:Spring AI、Spring AI Alibaba、LangChain4j
- 开源 Agent Harness:DeepSeek Harness,模型、工具、沙箱、多 Agent 协调都以插件形式挂载,适合学习一个完整的 Agent 运行时是怎么搭起来的
- 低代码平台:Dify、n8n,以及 Dify 的插件开发和二次开发(政企和私有化项目里很常见)
- 框架选型:什么时候用框架,什么时候自己手写更合适
LangChain 和 LangGraph 核心概念【必学】
- LangChain 核心组件:模型调用、提示模板、输出解析器、文档加载和切分、向量存储和检索器、工具
- LangChain 1.x 的
create_agent和中间件机制,以及旧版本中常见的 LCEL 和 Runnable 写法(面试和老项目中仍然会遇到) - LangGraph 状态图(StateGraph):状态、节点、边和条件边、子图
- LangGraph 检查点(Checkpointer):对话持久化、断点恢复、时间回溯
- LangGraph 中断(interrupt):实现人工审批
- LangChain 和 LangGraph 的区别,以及什么时候该用哪一个
Agent 运行时和 Harness【建议学】
- Agent Loop、Runtime 和 Harness 的概念:模型外面包裹的循环调度、工具注册、上下文管理、状态持久化和沙箱
- 长时间运行的 Agent:断点恢复、进度持久化、跨上下文窗口协作
- 代码沙箱:安全地执行 Agent 生成的代码
- 读一个开源 Harness 的源码:比如 DeepSeek Harness 的插件化内核,看看 Agent 循环、工具、会话存储是怎么拆开又组合起来的
Super-agent 超级智能体架构【建议学】
- 为什么需要它:普通 Agent 以单个会话为单位,人同时只能盯住三五个会话,多任务的上限卡在人的注意力上
- 双层架构:常驻的 Router 层负责和人沟通、汇总全局信息、分派任务,本身不干具体的活;Worker 层各自在隔离的上下文里并发执行任务,只向 Router 汇报
- 事件驱动:群聊消息、代码评审评论、CI 结果等环境事件(Trigger)驱动 Agent 主动干活,先用程序规则快速过滤噪音,再交给模型判断;同一个话题的后续事件直接发给已订阅的 Worker
- 上下文组织:把上下文窗口当缓存管理,近期要用的信息直接内联,放不下的只留引用和摘要,需要时再顺着引用一跳一跳召回
- 全双工交互:把耗时的工具改成异步调用,后台任务运行时 Agent 依然能响应新消息
- 计算、状态和执行环境分离:Agent 循环跑在云端无状态容器里,会话状态存进数据库,代码仓库等执行环境留在用户自己的机器上,设备离线也不影响 Agent 运行
- Watchdog:在系统外部挂一个独立的监督会话,检查各个 Worker 有没有实质进展、方向有没有跑偏,出错时自动介入修复
进阶能力【可不学】
- Computer Use 和 Browser Use:让 Agent 像人一样操作电脑和浏览器
- 语音 Agent:结合实时语音识别和语音合成的对话智能体
学习建议
1)学习 Agent 最好的方式是 先手写一个,再用框架。你可以先用原生 API 写一个最简单的 Agent 循环,不到 100 行代码就能让它调用两三个工具完成任务。手写一遍之后,你会发现 LangGraph、OpenAI Agents SDK 这些框架做的事情其实就是在帮你管理这个循环、状态和工具,学起来会轻松很多。
下面这张图展示了 Agent 的工作循环。它会先思考下一步做什么,然后调用工具去行动,再观察工具返回的结果,如此循环,直到任务完成为止。

2)框架不用全学,选一个深入就够了。如果你走 Python 路线,建议优先学习 LangChain 1.x 和 LangGraph,它们在国内的使用最广泛,面试被问得最多。LangChain 1.0 之后,官方用 create_agent 加中间件的方式统一了 Agent 的开发,比老版本简洁很多。注意网上大量教程还停留在旧版本,学习时一定要以 官方文档 为准。Java 同学可以直接学 Spring AI 或 LangChain4j,鱼皮有专门的 Spring AI 学习路线 和 LangChain4j 学习路线。
打开 LangChain 的官方文档,第一屏就写着 “Agent = Model + Harness”,左侧导航把 Agent、模型、消息、工具、记忆等核心组件都列得清清楚楚,跟着文档的顺序学就不会走弯路。

3)MCP 和 Agent Skills 是这两年最重要的两个开放标准,现在都已经由 Linux 基金会旗下的 Agentic AI Foundation 托管,几乎所有主流 AI 产品都支持。建议你既学会 “用”,也学会 “做”,亲手开发一个 MCP Server 和一个 Skill,接入 Cursor 或 Claude Code 里试一试,这会是简历上很亮眼的一笔。还不了解 Skills 的同学,可以先看我的 Agent Skills 傻瓜式教程 快速入门。
4)低代码平台也值得花两三天体验一下。Dify 能让你在几分钟内搭出一个带知识库和工作流的 Agent,很多企业的内部 AI 应用就是用它做的。了解它的设计思路,也能帮你更好地理解 Agent 应用的产品形态。如果你想去做政企或私有化项目,还可以试着给 Dify 写一个插件,不少这类岗位的 JD 会直接要求 Dify 二次开发经验。
5)多智能体是面试的热门话题,但在实际项目中要谨慎使用。多个 Agent 意味着更多的 Token 消耗、更难的调试和更多的不确定性,很多时候一个设计良好的单 Agent 加几个子 Agent 就足够了。
6)Super-agent 是 DeepSeek Harness 团队最新提出的智能体架构,它讨论的是下一代 Agent 怎么从 “一问一答的会话” 变成 “一直在线、能同时推进多个任务的同事”。建议先看我的视频 《DeepSeek 新出的 Super Agent 是什么?真有用么?》,十几分钟就能搞懂它和传统 Agent 的区别、它是怎么工作的、到底有没有用。学有余力的话,再去精读官方的 《Super-agent 设计探索》,里面用到的调度、批处理、缓存、存算分离、Watchdog 等思路都来自经典的计算机系统设计,后端同学读起来会很亲切。注意它和常见的 Agent Team 不是一回事,Agent Team 里的主 Agent 要深度参与单个复杂任务的拆解,而 Super-agent 的 Router 只管任务之间的分派和协调。官方同时开源了 原型代码,可以对照着读。
7)这个阶段有几个知识点看起来不起眼,却是面试的高频考点,一定要结合自己的项目准备好。根据 300 多场秋招面经的统计,“多 Agent 怎么拆分和通信”、“记忆怎么分层”、“Skill、MCP、Function Calling 的边界”、“怎么理解 Harness”、“工具调用失败怎么处理”、“意图识别怎么做” 这几类问题,都有几十位候选人被问到。Harness 是相对较新的考点,四分之一的候选人被问到过,有的面试官还会直接问 “了解 DeepSeek Harness 吗”,建议至少能讲清楚 Harness 包含哪些模块。
不过这些题光背八股是过不了的,面试官一定会接着追问你在项目里具体是怎么做的。如果想提前演练这种追问,训练营 的导师会根据你的简历押题,再做 1 对 1 模拟面试。
8)关于 Agent 开发的更多细节,可以查看 AI Agent 应用开发学习路线 和 LangChain 开发学习路线。
经典面试题
- 解释 LangChain 框架中的 Chain 和 Agent 概念,并举例说明各自的应用场景
- 请描述使用 LangChain 构建一个文档问答系统的关键技术组件及实现步骤
- 什么是 ReAct 范式?Agent 循环中如何避免死循环和无效的工具调用?
- 工作流和 Agent 有什么区别?什么时候应该选择工作流?
- MCP 解决了什么问题?它和 Function Calling 是什么关系?
- Agent Skills 和 MCP 有什么区别?分别适合什么场景?
- Agent 的短期记忆和长期记忆怎么区分?长期记忆怎么存储、检索和遗忘?
- 为什么要用多 Agent?子 Agent 怎么拆分、怎么通信、结果由谁汇总?
- 有了 MCP 为什么还需要 Skill?Skill 是怎么按需加载的?
- 你怎么理解 Harness?模型外面的 Harness 包含哪些模块?
- 工具调用超时或者一直失败怎么处理?如何避免重复调用造成重复扣款?
- 意图识别怎么做?用户一句话里有多个意图怎么办?
- LangChain 和 LangGraph 有什么区别?为什么不用框架自己写?
- 了解 DeepSeek Harness 吗?它的插件化设计有什么好处?
- Super-agent 为什么要拆成 Router 和 Worker 两层?和常见的 Agent Team 有什么区别?
- 如何让 Agent 在执行耗时任务的同时还能响应用户的新消息?
- 更多题目可以在面试鸭上搜索 MCP 相关面试题 和 Agent 相关面试题
学习资源
- ⭐ Anthropic:Building effective agents:Agent 设计模式的经典文章,讲清楚了工作流和 Agent 的区别
- ⭐ Datawhale Hello-Agents:从零构建智能体的系统教程,覆盖经典范式、上下文工程、MCP、A2A 和 Agentic RL
- ⭐ 黑马程序员 LangChain + LangGraph 开发实战:从 Agent 开发讲到 LangSmith 的监控、调试和评估
- ⭐ 鱼皮:DeepSeek 新出的 Super Agent 是什么?真有用么?:一期视频讲清楚 Super-agent 和传统 Agent 的区别、工作原理和实际价值
- 尚硅谷 LangChain 教程:基于 LangChain 1.x 新版本讲解,包含 Agent 智能体和 RAG 项目实战
- 尚硅谷 LangGraph 教程:讲解状态图、持久化和多智能体,适合在学完 LangChain 后深入学习
- 鱼皮:Agent Skills 傻瓜式教程:一期视频搞懂 Skills 是什么、怎么用、怎么写
- 尚硅谷 Agent Skills 开发教程:从原理讲到实战,手把手开发 Agent Skills
- 黑马程序员零基础玩转 Dify:5 小时入门低代码 Agent 开发
- LangChain 官方文档:LangChain 和 LangGraph 的权威文档
- MCP 官方文档:协议规范、SDK 和开发教程
- Agent Skills 官方规范:Agent Skills 的开放标准
- OpenAI Agents SDK:OpenAI 官方的轻量级 Agent 框架
- Claude Agent SDK:基于 Claude Code 内核的 Agent 开发工具包
- LangChain Deep Agents:LangChain 官方的长任务 Agent 方案,内置任务规划、虚拟文件系统、上下文压缩和子智能体
- DeepSeek Harness:DeepSeek 开源的插件化 Agent Harness,适合阅读源码学习 Agent 运行时的设计
- DeepSeek:Super-agent 设计探索:讲清楚常驻在线、多任务并行的超级智能体该怎么设计,附开源原型
- Anthropic:Writing effective tools for agents:教你设计出模型好用的工具
阶段 7:评测、可观测和安全(10 - 15 天,仅供参考)
做出一个能跑的 Agent 并不难,难的是让它在真实用户面前稳定、安全、便宜地运行。这个阶段要学的工程化能力,正是区分 “Demo 工程师” 和 “生产级工程师” 的关键。
目标
能够为 AI 应用建立评测体系并量化效果,为线上服务接入链路追踪和成本监控,识别并防范 AI 应用特有的安全风险,具备把 Demo 打磨成生产级产品的工程能力。
知识点
评测体系【必学】
- 为什么 AI 应用必须做评测:输出不确定,改一个提示词可能 “按下葫芦浮起瓢”
- 评测数据集的构建:从真实用户问题中采样,覆盖正常、边界和对抗情况
- 评测方法:基于规则的断言(格式、关键词、可执行性)、LLM-as-Judge(用模型给模型打分)、人工评审
- Agent 评测:任务完成率、轨迹评估、pass@k 和 pass^k
- 回归测试:把评测接入 CI,每次修改提示词、模型或工具都要跑一遍
- bad case 闭环:收集用户点踩和线上失败案例,定位出错环节,标注后回流到评测集
- 评测工具:promptfoo、DeepEval、Ragas、OpenAI Evals 等
可观测性【必学】
- 链路追踪(Tracing):记录每次请求中模型调用、检索、工具执行的完整过程
- 关键指标:Token 消耗、首字延迟(TTFT)、总耗时、错误率、用户反馈
- 主流平台:Langfuse(开源可自部署)、LangSmith、Arize Phoenix
- OpenTelemetry 的 GenAI 语义规范
成本和性能优化【建议学】
- 模型路由:简单任务用便宜的小模型,复杂任务再用强模型
- 缓存:提示词缓存、语义缓存、结果缓存
- 降低延迟:流式输出、并行调用、减少不必要的推理步骤
- Agent 经济学:估算单次任务成本,判断 Agent 和人工哪个更划算
AI 安全【必学】
- 提示词注入的防范:区分可信指令和不可信数据
- 工具权限控制:最小权限原则,敏感操作必须人工确认
- 数据安全:敏感信息脱敏、防止数据泄露、用户数据隔离
- 内容安全:输入输出的内容审核,国内上线还要关注生成式 AI 备案要求
- 护栏(Guardrails):输入输出校验和拦截
部署上线【必学】
- Docker 容器化部署
- 云服务器和 Serverless 部署
- 长任务的异步化:消息队列和任务队列
学习建议
1)评测决定了你做的是 Demo 还是产品,做完 Demo 只是起点,能证明 “它真的好用” 才是终点。面试官最爱问的就是 “你的 Agent 效果怎么样?怎么测出来的?” 如果你能拿出一个 “测试集怎么建、Judge 怎么写、哪类错误最多、改了什么、分数从多少提到了多少” 的完整故事,绝对是加分项。现在不少 Agent 岗位会把 “建设评测体系”、“badcase 分析和回流” 直接写进岗位职责。
评测不是做一次就结束的,而是一个持续改进的闭环。上线之后不断收集 bad case,定位出错的环节,再把它们加入评测集,每次改动都跑一遍,效果分数才会稳步提升。

能讲解清楚评测过程是面试里最加分的地方,也是自学最难准备的部分,因为个人项目很难有真实的 bad case 和效果数据。在 训练营 里,导师会带你把项目的评测方案、指标和优化过程梳理成完整的回答,再通过模拟面试反复打磨。
2)评测不用一开始就做得很复杂。先从 30 到 50 条测试用例开始,能用代码断言的就别用模型打分,因为代码断言又快又稳定,LLM-as-Judge 只用在开放式回答的评估上。
3)建议从第一个项目开始就接入可观测性。推荐使用开源的 Langfuse,几行代码就能看到每次请求的完整链路,排查 Bug 的效率会提升好几倍。
4)安全问题往往在 Demo 阶段被忽视,到了生产环境才暴露出来。特别是 Agent 能调用工具之后,一段藏在网页或文档里的恶意指令,就可能让 Agent 删库或者泄露数据。所以给 Agent 的工具权限一定要 “能少则少”,危险操作一律加上人工确认。
5)如果你想深入学习 Agent 运行时的工程设计,可以继续看本系列的 Agent Harness 工程师学习路线。
经典面试题
- 如何评测大模型的幻觉?
- 你会如何为一个 AI 客服系统设计评测方案?用哪些指标衡量效果?
- LLM-as-Judge 有哪些局限性?如何提高它的可靠性?
- 用户反馈你的 Agent “很蠢”,你会怎么定位问题?bad case 会不会回流到评测集?
- 线上 AI 应用的响应变慢了,你会如何定位问题?
- Agent 可以调用工具后,会面临哪些新的安全风险?如何防范?
- 如何在保证效果的前提下降低 AI 应用的 Token 成本?
学习资源
- ⭐ 黑马程序员 Agent 测试一套通关:从 AI 软件测试基础讲到智能体评测实战
- ⭐ Langfuse 官方文档:开源的大模型可观测性平台,支持自部署
- promptfoo:用配置文件对比提示词和模型效果,还支持红队安全测试
- DeepEval:像写单元测试一样写大模型评测
- LangSmith 文档:LangChain 官方的调试、评测和监控平台
- OWASP 大模型应用十大安全风险:AI 应用安全的权威参考
- Anthropic:Effective harnesses for long-running agents:长时间运行 Agent 的工程实践
阶段 8:模型部署、微调和原理进阶(选学,20 - 40 天,仅供参考)
前面的阶段都是站在 “使用模型” 的角度,这个阶段我们要往下走一层,看看模型是怎么被部署、微调和训练出来的。这部分属于选学内容,对于大多数 AI 应用开发岗位来说,调用云端 API 已经足够了。但如果你所在的企业有数据安全要求需要私有化部署,或者通用模型在特定任务上效果不够好需要微调,又或者你想往大模型算法和 AI Infra 方向发展,那么就需要深入学习这部分内容。
目标
能够在本地和服务器上部署开源大模型,理解量化和推理加速的基本原理,掌握 LoRA 等主流微调方法,并对大模型的底层原理有更深入的理解。
知识点
本地部署和推理服务【建议学】
- 本地运行:Ollama、LM Studio、llama.cpp
- 高性能推理引擎:vLLM、SGLang
- 推理加速原理:KV Cache、PagedAttention、连续批处理、投机解码
- 模型量化:GGUF、AWQ、GPTQ、FP8,以及量化对效果的影响
- 显存估算:一个模型需要多大的显卡才能跑起来
- 国产化适配:了解国产模型在昇腾等国产算力上的部署方式,以及离线环境、信创环境下的私有化交付
模型微调【建议学】
- 什么时候需要微调:先试提示词和 RAG,效果不够再考虑微调
- 微调的类型:SFT 监督微调、DPO 偏好对齐、GRPO 等基于可验证奖励的强化学习(RLVR)
- 参数高效微调:LoRA、QLoRA 的原理和超参数选择
- 数据集准备:数据收集、清洗、去重、格式转换,数据质量比数量更重要
- 微调工具:LlamaFactory(零代码 Web 界面)、Unsloth(单卡高效)、ms-swift、TRL、verl
- 微调效果评估:在保留集上评测,警惕灾难性遗忘
- 模型蒸馏:用大模型生成的数据训练小模型,比如用 DeepSeek-R1 的推理数据蒸馏 Qwen 小模型
机器学习和深度学习基础【应用岗可不学,算法岗必学】
- 机器学习:建模流程、特征工程、常见分类和回归算法、模型评估指标
- 深度学习:神经网络、激活函数、损失函数、反向传播、梯度下降,以及 PyTorch 框架
- NLP 基础:分词、词向量(Word2Vec)、RNN、LSTM、注意力机制、Seq2Seq
大模型原理进阶【可不学】
- Transformer 架构详解:自注意力、多头注意力、位置编码(RoPE)、残差和归一化
- Encoder-only、Decoder-only 和 Encoder-Decoder 架构,以及 BERT 和 GPT 的区别
- 推理相关原理:KV Cache、FlashAttention、GQA 和 MLA 等注意力优化
- 预训练流程:数据处理、分词器训练、分布式训练
- 对齐技术:RLHF、PPO、DPO、GRPO
- MoE 混合专家架构
- 多模态模型:视觉语言模型(VLM)、CLIP、扩散模型
学习建议
1)微调不是解决问题的首选手段。很多同学一遇到效果不好就想微调,结果花了大量时间准备数据和训练,效果还不如优化一下提示词和 RAG。业界公认的顺序是 提示词工程优先、RAG 其次、微调最后。微调更适合改变模型的输出风格和格式,或者让小模型在特定任务上达到大模型的效果来降低成本,而不适合给模型 “灌知识”。
2)微调入门推荐使用 LlamaFactory,它提供了零代码的 Web 界面,几百条高质量数据加一张消费级显卡就能跑通一次 LoRA 微调。没有显卡的同学可以在 AutoDL 等云平台按小时租用 GPU,成本很低。
3)原理部分可以按需学习。如果你只是做应用开发,理解 Transformer 的基本结构和 KV Cache 就够应付大部分面试了。如果想往算法岗发展,建议跟着 Happy-LLM 或者 Karpathy 的教程,亲手从零训练一个小模型,这比看十篇论文都管用。
4)如果你对推理部署和性能优化特别感兴趣,可以看本系列的 AI Infra 大模型推理工程师学习路线。想系统补充算法基础的话,可以按顺序学习 机器学习学习路线、深度学习学习路线 和 NLP 自然语言处理学习路线,这也是培训机构大模型算法班的标准顺序。
经典面试题
- 请解释大模型微调的原理,并说明在什么业务场景下需要微调而不是直接使用基础模型?
- 了解哪些大模型微调技术?
- LoRA 的原理了解吗?
- 聊聊你对 Q-LoRA 的理解
- Transformer 的哪个部分最占用显存?
- 什么是 KV Cache?vLLM 的 PagedAttention 解决了什么问题?
- GRPO 和 PPO 有什么区别?为什么 DeepSeek-R1 选择了 GRPO?
学习资源
- ⭐ Datawhale Self-LLM 开源大模型食用指南:手把手教你部署和微调国内外主流开源模型
- ⭐ LlamaFactory:零代码微调上百种大模型,国内最流行的微调框架
- ⭐ Datawhale Happy-LLM:从零搭建和训练一个大模型,深入理解原理
- 尚硅谷企业级大模型部署实战:Dify、Ollama、Xinference、Qwen、DeepSeek 等私有化部署方案
- 尚硅谷 NLP 零基础教程:从 LSTM、Transformer、BERT 讲到大模型训练
- Ollama:一行命令在本地运行开源大模型
- vLLM:最流行的高性能大模型推理引擎
- Unsloth:显存占用低、速度快的微调工具,适合单卡用户
- Build a Large Language Model (From Scratch):从零实现一个类 GPT 模型的经典开源教程
- Karpathy 的 nanochat:用几百美元从零训练一个能对话的小模型
- 图解 Transformer:最经典的 Transformer 图解文章
- 大模型量化图解:用大量图示讲清楚量化原理
阶段 9:项目实战(贯穿始终)
学了这么多技术,最终都要落到项目上。不过项目实战并不需要等前面全部学完才开始,而是应该贯穿整个学习过程,每学完一个阶段就动手做一点。
目标
通过 3 到 5 个由浅入深的项目,把前面学到的知识串联起来,积累能写在简历上、能在面试中讲清楚的真实项目经验。
项目推荐
做项目是检验学习成果最好的方式。我在 编程导航 上带大家做了近 30 套保姆级项目教程,其中 AI 方向的项目已经有十几套,每套都包含视频教程、文字教程、完整源码、简历写法和面试题解。下面按照学习顺序给大家推荐几套。
1)AI 编程助手
入门首选 LangChain4j RAG MCP
小而精的入门项目,用一个项目快速实战 AI 对话记忆、结构化输出、RAG 知识库、工具调用、MCP、SSE 流式输出等主流技术,非常适合刚学完 API 开发的同学练手。

Python FastAPI RAG Agent AI 编程
纯 AI 编程开发的微信小程序,用户输入想学的知识,AI 自动联网搜索出题、边闯关边讲解。实战 Python FastAPI 后端、DeepSeek 大模型出题、Tavily 联网搜索 Agent、Chroma 向量库 RAG 知识库,还会用 OpenSpec 规范驱动开发,最后走完小程序的备案、审核和上线流程。

3)AI 超级智能体
Spring AI RAG MCP ReAct 智能体
通过开发 AI 恋爱大师和拥有自主规划能力的超级智能体,系统掌握会话记忆、RAG 检索增强、Tool Calling、MCP 服务开发、ReAct 智能体等典型场景,还涉及 OpenManus 源码剖析和 Spring AI 底层原理,是后端转 AI 应用开发的首选项目。

Python LangChain LangGraph React
用户输入主题或上传文档,即可生成大纲并并发生成完整页面,最终导出原生可编辑的 PPTX 文件。实战 LangChain 结构化输出、LangGraph 自纠错工作流、ARQ 加 Redis 异步任务编排、SSE 实时进度推送,带你掌握从模型 Demo 到可交付产品的完整 AI 工程化流程。

Python LangGraph AI 智能体 人机协作
用自然语言描述修图需求,Agent 会自动拆解成多步计划,并调用 21 个编辑工具完成修图。实战 LangGraph 智能体状态图、统一工具注册、异步任务队列、SAM 点选分割、图层和版本管理、HITL 人机协作,掌握 AI 智能体驱动的复杂应用开发全流程。

对标大厂 LangChain4j LangGraph4j 微服务
对标大厂的 AI 应用生成平台,用户输入需求即可由 AI 智能体自动生成完整的前后端项目代码。实战 AI 智能体、LangGraph4j 工作流、Spring Cloud 加 Dubbo 微服务架构、多级缓存和企业级监控体系,能大幅提升你的架构设计能力。

除此之外,还有同时提供 Java、Go、Python 三种语言教程的 AI 爆款文章创作器(多智能体协作)、AI 大模型评测平台(多模型对比和 AI 评委打分)、企业级 AI 网关(多模型路由和计费),以及零基础也能跟着做的 AI 热点监控工具、AI 万能视频下载总结器 等 AI 编程项目,可以根据自己的技术栈和兴趣选择。
学习建议
1)项目不在于多,而在于深。建议至少做一个 RAG 类项目和一个 Agent 类项目,然后挑一个最拿得出手的项目持续打磨。比如给它补上评测集和效果数据、接入 Langfuse 链路追踪、加上人工审批和权限控制,再部署上线让真实用户去用,这样的项目在面试中会非常有说服力。
2)做完教程项目后,最好再加入自己的思考和扩展,比如换一个业务场景、换一种检索方案、对比几个模型的效果和成本。面试官更关心你做了哪些 “教程里没有的东西”。做完教程项目之后,怎么结合自己的经历做出差异、讲出亮点,也是 训练营 重点辅导的部分。
3)除了跟着教程做项目,也非常推荐阅读优秀开源项目的源码。比如 Dify 和 RAGFlow 的整体架构设计、LangGraph 的状态管理、OpenClaw 这类 Personal Agent 的记忆和工具系统,都能让你学到很多教程里学不到的工程经验。
4)关于怎么学好项目,可以参考 鱼皮项目学习建议,里面有很多实用的技巧。
学习资源
- ⭐ 鱼皮原创项目教程系列:近 30 套保姆级项目,含简历写法和面试题解
- 编程导航项目介绍视频:快速了解鱼皮的往期项目
- Dify:最流行的开源 AI 应用开发平台,适合学习企业级 AI 平台的架构
- OpenClaw:火爆全网的开源个人智能体,适合学习 Agent 的记忆和工具系统
阶段 10:求职面试准备
当你手里有了两三个拿得出手的项目,就可以开始准备求职了。
求职这一步,很多同学不是技术不够,而是不知道怎么把自己的经历讲成面试官想听的样子,投了几百份简历没回音,好不容易约到面试又说不清项目亮点。如果你想少走弯路,可以了解一下我们团队的 AI 大模型全栈开发训练营。不管你现在做后端、前端、测试还是其他岗位,或者还是在校生,训练营里都有同样背景转 AI 上岸的同学。具体会帮你做这几件事:
- 1 对 1 摸底,根据你的背景和目标岗位定制学习计划,支持 Java 和 Python 两条路线
- 带你做企业级 AI 项目,并结合你现有的经历包装成有亮点的 AI 项目
- 1 对 1 修改简历,打磨项目的面试话术,根据简历提前押题
- 1 对 1 模拟面试,还原真实面试的追问节奏,结束后给出书面复盘
- 真实面试结束后,导师会帮你逐题复盘,改进回答的表达、深度和逻辑
自学和免费资料能教会你技术,但每场面试后有人帮你复盘、告诉你下次该怎么答,这是训练营最大的价值。

目标
了解 AI 应用开发岗位的真实要求,写出有竞争力的简历,系统准备面试,拿到满意的 Offer。
学习建议
1)投简历之前,建议先花一两个小时,把目标公司和岗位的 JD 通读二三十份,把反复出现的技能关键词圈出来,再和自己的简历对照,缺什么补什么。我抽样看了几十份 BOSS 直聘和猎聘上的 AI 应用开发、Agent 开发岗位 JD,出现最多的是 Python、Agent、RAG 和提示词,其次是工作流编排、LangChain、工具调用、评测和监控;Java 也出现在四成岗位里,后端同学的技术栈完全用得上。另外,超过一半的 JD 会强调业务理解和沟通能力,所以准备项目时,别忘了讲清楚它解决了什么业务问题。
2)写简历时,AI 项目一定要突出 “技术难点” 和 “量化效果”,不要只写 “使用 LangChain 实现了知识库问答”。比如 “通过混合检索加重排序,将检索命中率从 62% 提升到 89%”,或者 “通过模型路由和提示词缓存,将单次对话成本降低 70%”。具体写法可以参考 鱼皮的保姆级写简历指南,其中还专门有一章讲 AI 时代的完美简历。
3)AI 方向的面试通常是 “后端基础 + AI 知识 + 项目深挖 + 手撕算法” 的组合拳。从秋招的面经统计来看,三成候选人的项目被深挖,问的都是架构、指标和难点;还有接近三成候选人遇到了手撕算法题,基本都是 LeetCode 原题,比如合并区间、LRU 缓存、K 个一组翻转链表,现场手写 Agent 循环的反而很少。所以后端开发的八股文和算法题依然很重要,不能因为转 AI 就完全放下。算法可以按照 数据结构和算法学习路线 准备,看不懂的题目可以到 算法导航 看动画演示。AI 相关的知识,建议在 面试鸭 上系统刷一遍 AI 大模型题库,再用 面多多 做几轮 AI 模拟面试,提前熟悉面试的节奏和追问方式。
经典面试题
AI 应用开发的面试题主要分为下面几类,你可以对照着检查自己的薄弱环节。
- AI 编程工具:平时怎么用 Claude Code、Codex 等工具,怎么保证 AI 生成代码的质量
- 基础概念:Token、上下文窗口、推理模型、幻觉、Embedding
- API 开发:流式输出、结构化输出、Function Calling、成本控制
- RAG:完整流程、切分策略、混合检索、重排序、效果评估、问题定位
- Agent:ReAct 原理、工作流和 Agent 的区别、意图识别、记忆设计、MCP、Skills、多智能体、Harness,以及 Super-agent 这类新架构
- 工程化:评测体系、bad case 回流、链路追踪、安全防护、性能和成本优化
- 场景设计题:从零设计一个客服 Agent、Coding Agent 或企业知识库,讲清楚链路和取舍
- 项目深挖:项目背景、技术选型理由、遇到的最大难点、效果数据、还有哪些优化空间
- 计算机基础:后端八股文(数据库、缓存、并发、网络)和 LeetCode 算法题
学习资源
- ⭐ 面试鸭 AI 大模型面试题库:覆盖 RAG、Agent、微调等高频考点
- ⭐ 鱼皮的保姆级写简历指南:手把手教你写出能拿面试的简历
- 鱼皮的保姆级求职指南:从简历、投递到面试和 Offer 选择的全流程攻略
- 鱼皮:Java 程序员转型 AI 开发,面试都问什么?:真实还原一场 Java 程序员转 AI 应用开发的模拟面试,涵盖提示词、RAG、Spring AI、工具调用和幻觉处理等考点
- 面多多 AI 模拟面试:根据目标岗位定制面试题,AI 智能追问并生成复盘报告
- 老鱼简历:100 多套精美简历模板,AI 帮你生成和优化简历
- 几百场真实模拟面试视频:看看别人是怎么面试的
- 真实面经大全:了解各大公司的真实面试流程
持续学习
AI 领域的变化速度可能是整个编程行业里最快的,几个月前的最佳实践现在可能已经过时了。所以走完这条路线之后,保持持续学习的习惯比什么都重要。
我的建议是,每周花一两个小时浏览一下行业动态,重点关注各大模型厂商的官方博客和开发者文档,因为新能力往往会第一时间在那里发布。另外,有新的模型或工具发布时,不要只看别人的测评,最好亲自用自己的业务场景测一测。
在 鱼皮 AI 导航 上,我会持续整理最新的 AI 资讯和实测,有重磅模型发布时也会第一时间做横向对比。也欢迎关注 “程序员鱼皮” 公众号和 B 站账号,值得学习的 AI 新技术,我都会给大家出保姆级教程。
学习资源
- ⭐ 鱼皮 AI 导航 - AI 资讯:每日更新的最新 AI 资讯
- Anthropic 工程博客:Agent、上下文工程和 Harness 的一手实践经验
- OpenAI 开发者博客:OpenAI 新能力的官方解读
- LangChain 博客:Agent 开发的最新实践和案例
- Hugging Face 每日论文:每天精选的 AI 热门论文
- Datawhale:国内最活跃的 AI 开源学习社区,持续产出高质量的免费教程
尾声
看到这里,你可能会觉得要学的东西实在太多了。
别慌,这份路线是一张完整的地图,并不是要你一口气全部走完。
如果你只是想快速上手,学完阶段 0 到阶段 6 的必学内容,做出一个 RAG 项目和一个 Agent 项目,并给它补一套简单的测试,就已经能应对大部分 AI 应用开发岗位的面试了。如果你想冲击大厂的 Agent 岗位,再把评测、可观测和安全这些工程化能力补上。至于模型部署和微调,等你在工作中真正需要时再深入学习也完全来得及。
最后送给大家一句话,AI 时代最稀缺的不是会用某个框架的人,而是能把 AI 真正落地到业务里、并且能证明它有效的人。技术会不断更新,但这种解决问题的能力永远不会过时。
如果你想少走弯路、尽快拿到 Offer,也欢迎来 训练营 和导师聊聊。
希望大家都能抓住这波 AI 浪潮,拿到满意的 Offer,加油!
