大语言模型（LLM，Large Language Model）
大语言模型是一种基于深度学习的大规模神经网络模型，通常采用Transformer架构。它能够处理和生成人类语言，通过在海量文本数据上训练，学习语言的复杂模式、语法规则和知识。大语言模型一般指参数量达到1亿以上的模型，但随着技术发展，这一标准不断提高，目前业界领先的模型参数量已达到万亿级别。大语言模型的核心优势在于其强大的语言理解和生成能力，能够执行各种语言任务，如文本生成、问答、摘要、翻译等，且在规模扩大后会表现出涌现能力，即出现训练时未明确教授的新能力。
Transformer架构
Transformer是由Google团队在2017年论文《Attention Is All You Need》中提出的一种神经网络架构，现已成为大语言模型的主流架构。与传统的循环神经网络不同，Transformer完全基于自注意力机制，摒弃了循环和卷积结构。其核心优势在于能够高效处理序列数据中的长距离依赖关系，并支持高度并行化计算。Transformer架构主要由多头自注意力层和前馈神经网络层组成，通过自注意力机制使模型能够动态关注输入序列中的不同部分，从而更好地理解上下文信息。这一架构为GPT、BERT、LLaMA等现代大语言模型奠定了基础，并展现出优秀的 可扩展性，即模型性能随参数量、数据量和计算量的增加而持续提升。
注意力机制（Attention Mechanism）
注意力机制是现代大语言模型的核心组件，允许模型在处理序列数据时，动态地为输入的不同部分分配不同的"注意力"权重，从而聚焦于当前任务最相关的部分。在自然语言处理中，注意力机制使模型能够理解词语之间的关系和上下文依赖，极大地增强了模型对语言的理解能力。Transformer架构中的自注意力（Self-Attention）计算序列内部元素之间的相关性权重，使 模型理解一个词与句子中其他词的关系；而多头注意力（Multi-Head Attention）则并行运行多个独立的注意力"头"，每个头学习不同的上下文表示，然后将结果聚合，使模型能从不同角度捕捉信息。注意力机制是Transformer模型成功的关键，使其能够高效处理和理解复杂序列。
Token（词元/标记）
Token是大模型处理文本的基本单位，可以理解为语言中有独立含义的最小实体。在大模型 中，原始文本需要被分割成一系列标准化的Token，这些Token可以是单词、子词或单个字 符。例如，英文中"unbelievable"可能被分割为"un"、"believe"、"able"三个子词Token。Token化是文本输入到神经网络的必要步骤，通过将文本转换为模型可处理的数字序列。在实际应用中，一个英文字符约占0.3个Token，一个中文字符约占0.6个Token。Token的处理方式直接影响模型的计算效率和可处理的上下文长度，是理解大模型输入输出限制的关键概念。
参数量
参数量是衡量大模型规模的重要指标，指模型中可调节的数值总数，这些参数通过训练过程不断优化以提升模型性能。在大语言模型中，参数量通常以B（Billion，十亿）为单位，如175B 表示1750亿参数。参数量的增长与模型能力呈现正相关关系，更大的参数量通常意味着模型可以学习更复杂的模式和存储更多的知识。目前业界领先的模型如OpenAI的GPT系列已经达到万亿（Trillion）级别的参数量，而DeepSeek发布的R1模型达到671B。参数量的增长是大模型发展的重要趋势，但同时也带来了更高的计算资源需求和训练成本。
涌现（Emergence）
涌现是指大语言模型在达到一定规模后，突然表现出的新能力或性能的显著提升，这些能力在较小规模模型中并不明显。这一现象类似于复杂系统中的创发性质，即整体展现出组成部分所不具备的特性。在大模型研究中发现，当模型规模达到特定阈值后，其在多步算术、大学考试、单词释义等任务上的准确性会突然显著提升。涌现能力是大模型最引人注目的特性之一， 它使模型能够执行那些没有被明确训练过的任务，如复杂推理、创造性写作等。涌现现象支持了"扩展即改进"的理念，即通过扩大模型规模可以获得质的飞跃，而不仅仅是量的积累。
泛化（Generalization）
泛化是指模型将学到的知识和能力应用到新的、未见过的数据或任务上的能力。在大模型领域，良好的泛化能力意味着模型不仅能在训练数据上表现良好，还能在全新的场景中保持高性能。泛化通常通过迁移学习、微调等技术实现，使预训练模型能够适应特定领域或任务。强大的泛化能力是大模型价值的核心所在，它使模型能够处理各种各样的自然语言任务，而不需要为每个任务从头训练专门的模型。评估模型泛化能力的常见方法包括在未见过的数据集上测 试、跨领域任务评估以及零样本或少样本学习性能测试。
位置编码（Positional Encoding）
位置编码是Transformer架构中的关键组件，用于向模型提供输入序列中每个元素的位置信息。由于Transformer的自注意力机制本身是排列不变的（不直接感知词元顺序），位置编码被用来注入词元在序列中相对或绝对位置的信息。这些编码向量通常被加到词嵌入向量上，使模型能够区分相同词汇在不同位置的含义。位置编码可以是固定的（如使用正弦和余弦函数生成）或可学习的参数。在自然语言处理中，位置信息至关重要，因为词语的顺序直接影响句子的含义。位置编码使Transformer模型能够理解"猫追狗"和"狗追猫"这样顺序不同但包含相同 词汇的句子之间的区别。
嵌入层（Embedding Layer）
嵌入层是大语言模型的基础组件，负责将离散的词元（如单词或子词）映射到一个稠密的、低维的、连续的向量空间中。这些向量（嵌入）旨在捕捉词元的语义和句法信息，使得意义相近的词元在向量空间中距离也相近。例如，"国王"和"王后"的嵌入向量会比"国王"和"苹果"的向 量更接近。嵌入层使计算机能以数值方式"理解"词语的意义和关系，为后续的神经网络层提供了富含语义的输入。相较于传统的独热编码，嵌入大幅降低了输入维度，提高了计算效率。在大语言模型中，嵌入层通常是训练过程中学习得到的，能够反映语料库中词语的语义关系。
混合专家模型（MoE，Mixture of Experts）
混合专家模型是一种神经网络架构，由多个"专家"子网络和一个"门控网络"组成。每个专家子网络是独立训练的神经网络模块，专注于数据的不同方面或不同任务部分。门控网络则负责动态选择最合适的专家来处理特定输入。在大语言模型中，MoE允许在保持计算效率相对可控的情况下，大幅增加模型参数量，从而提升模型容量和性能。与传统的密集模型（Dense）相 比，MoE生成一组相对稀疏的专家组，每次推理只激活部分专家，大大降低了计算成本。例如，DeepSeek的创新在于采用大量的Expert来优化推理占用的显存，因为每次仅加载少量Experts就可以完成推理。MoE架构是大模型高效扩展的重要方向。
