Chap01. 认识AI
本文介绍了AI核心概念及大模型开发原理，涵盖人工智能发展历程与Transformer神经网络的关键作用。通过注意力机制，Transformer实现对文本、图像、音频的高效处理，成为GPT等大模型的基础。大语言模型（LLM）利用其持续生成能力，逐字推理输出内容，实现连贯对话与多模态生成。
08 | 索引构建：搜索引擎如何为万亿级别网站生成索引？
针对超大规模数据场景，如搜索引擎需处理万亿级网页，倒排索引远超内存容量。解决方案是：先将文档分批，在内存中为每批构建小型倒排索引，再写入磁盘生成有序临时文件；最后通过多路归并技术合并临时文件，生成全局有序的最终倒排文件。此过程类似MapReduce思想，支持分布式加速。检索时，优先将词典加载至内存（可用哈希表或B+树），结合磁盘上的posting list进行高效查询，对过长的列表可采用分层索引或缓存优化。
解码策略
解码策略影响文本生成的创造性和准确性。贪婪解码确定性强但重复性高；Beam Search提升质量，适合翻译与摘要；随机采样结合Temperature、Top-k和Top-p，增强多样性，适用于创意写作。不同方法在质量、多样性和计算成本间权衡，适配各类NLP任务需求。（238字）
Transformer基础结构
Transformer由Vaswani等人于2017年提出，基于自注意力机制，摒弃传统循环结构，实现并行化处理，显著提升长距离依赖建模能力。其核心包括编码器-解码器架构、多头注意力、位置编码、残差连接与层归一化，广泛应用于NLP及多模态任务，是当前大模型的基础架构。（238字）
主流大模型结构
本文系统梳理主流大模型架构：Encoder-Decoder（如T5）、Decoder-Only（如GPT）、Encoder-Only（如BERT）和Prefix-Decoder（如GLM），详解GPT、LLaMA及中文模型发展，对比参数、上下文与特性，助力理解架构差异与选型策略，涵盖面试核心要点。
主流大模型结构
本文详解主流大模型架构：Encoder-Decoder（如T5）、Decoder-Only（如GPT）、Encoder-Only（如BERT）和Prefix-Decoder（如GLM），涵盖代表模型、特点与应用场景；梳理GPT系列演进、LLaMA发展及中文大模型现状，并提供模型对比与面试重点解析。
🎲 解码策略
解码策略决定文本生成方式，平衡创造性与准确性。贪婪解码确定性强但重复性高；Beam Search提升质量但成本较高；随机采样（如Top-k、Top-p）增强多样性，适合创意任务。不同方法适用于翻译、摘要、创作等场景。
05 | 倒排索引：如何从海量数据中查询同时带有「极」和「客」的唐诗？
本文介绍了正排索引与倒排索引的原理及应用。通过唐诗检索的场景对比，说明键值查询与关键词搜索的区别。正排索引以文档ID为键，适合精确查找；而倒排索引以关键字为键，记录包含该词的文档列表，显著提升多关键词联合查询效率。文中详述了倒排索引的构建步骤、链表归并求交集的查询优化方法，并拓展至多路归并与实际应用场景，如搜索引擎、推荐系统等。倒排索引虽原理简单，却是现代信息检索的核心技术之一。
分词器详解
分词器将文本转为模型可处理的数字序列，主流算法如BPE、WordPiece和SentencePiece各有特点。BPE高效但中文支持弱，WordPiece适合英文，SentencePiece语言无关，尤适中文。实战中需根据语言特性选择，并关注词汇表大小、OOV问题等面试重点。
