一、AI & LLM 基础原理
1. LLM 的核心原理是什么?
答:
大语言模型(LLM)的核心任务是预测下一个 token。其底层架构是 Transformer,依赖 自注意力机制 捕捉上下文依赖,并通过 位置编码 保留顺序信息。训练流程一般为:
- 大规模无监督预训练(学习通用语言模式)
- 有监督微调(SFT)(在特定任务上训练)
- 对齐(RLHF 等)(让模型输出更符合人类期望)
2. Transformer 的自注意力机制是如何工作的?
答:
自注意力机制通过计算 Q(查询)、K(键)、V(值) 的加权和,来决定输入序列中每个 token 应该关注哪些其他 token。这样模型能捕捉远距离依赖关系,而不像 RNN 那样受限于顺序。
3. 什么是 Embedding?在应用中怎么用?
答:
Embedding 是文本的向量化表示,将语义信息映射到向量空间。应用场景:
- 相似度计算(如语义搜索、推荐系统)
- 向量数据库检索(如 Milvus、Pinecone、FAISS)
- 知识增强问答(RAG)
二、Prompt 工程与应用设计
4. 什么是 Zero-shot、Few-shot 和 Chain-of-Thought?
答:
- Zero-shot:直接给模型任务描述,不提供示例。
- Few-shot:在 Prompt 中提供少量示例,引导模型学习模式。
- Chain-of-Thought (CoT):让模型分步骤思考,显式输出推理过程。
5. 如何设计一个 Prompt,确保模型输出严格的 JSON 格式?
答:
采用 输出模板约束 + 明确指令:
请提取以下文本的标题和摘要,并严格输出 JSON 格式,不要包含额外文字。 输出格式: { "title": "<标题>", "summary": "<摘要>" }
6. 如果模型经常跑题,你会如何优化 Prompt?
答:
- 增加角色设定:明确模型身份(如“你是资深 HR”)。
- 增加约束规则:如“仅用中文回答”“输出不得超过 100 字”。
- 使用少量示例(Few-shot):提供正确输出示例。
- 后处理:用代码解析并验证输出格式。
7. 什么是 RAG(检索增强生成),你会如何应用?
答:
RAG = Retrieval-Augmented Generation。流程是:
- 将外部知识库转成向量(embedding)并存入数据库。
- 用户输入问题时,检索相关文档。
- 将检索结果拼接进 Prompt,再交给 LLM 生成回答。
👉 应用场景:企业知识库问答、法律/金融/医药垂直问答。
三、项目经验 & 实战落地
8. 请介绍一个你做过的 AI 应用项目。
答:(示例)
我做过一个 智能简历优化助手:
- 输入:用户简历、目标岗位 JD
- 处理:
- 用 LLM 提取 JD 的关键要求
- 用 Prompt 模板对照简历,指出差距
- 生成修改建议,或直接输出优化后的简历版本
- 输出:结构化结果(教育、经验、技能)
- 技术栈:Python + Vue 前端 + LangChain + 向量数据库
9. 如果用户上传 10MB 的 PDF 简历,如何处理?
答:
- 先用工具(pdfminer、PyMuPDF)分段提取文本。
- 将文本分 chunk(如每段 500 tokens),计算 embedding,存入向量数据库。
- 用户提问时,检索最相关的 chunk,再送入模型。
👉 这样避免一次性输入超出 LLM token 限制。
10. 面试官问:你和 Prompt 工程师的区别是什么?
答:
Prompt 工程师偏重于 设计提示词本身,而 AI 应用工程师要 把 Prompt 融入应用场景:
- 不仅写提示词,还要 整合 API、前端、后端,保证落地可用。
- 会考虑 性能、成本、用户体验,而不仅仅是 Prompt 的语言优化。
👉 我既能写 Prompt,又能写代码把它部署到实际产品中。