预训练（Pre-training）
预训练是大语言模型开发的第一个关键阶段，指在目标任务的数据集上进行正式训练之前，先在一个大规模的、通用的数据集上对模型进行初步训练的过程。在这个阶段，模型通过处理海量文本数据（通常是互联网上的公开文本、书籍、论文等），学习语言的基本规律、语法结构、常识知识和上下文关系。预训练阶段通常采用自监督学习方法，如掩码语言建模（MLM）或因果语言建模（CLM），让模型预测被遮挡的词或下一个词。这种方法可以帮助模型学习到广泛的知识和特征表示，形成语言理解的基础能力，从而在后续的任务中更好地泛化和迁移这些知识。预训练是计算密集型过程，需要大量计算资源和时间，但产生的模型可以作为多种下游任务的起点。
微调（Fine-tuning）
微调是在预训练模型基础上，使用特定领域或任务的数据进一步训练模型的过程。这一阶段针对预训练模型的部分或全部参数，使用相对较小规模但更有针对性的数据集进行调整，使模型更好地适应特定应用场景。微调过程通常需要较少的数据和计算资源，但能显著提升模型在目标任务上的性能。微调的核心优势在于利用预训练阶段获得的通用语言理解能力，快速适应特定领域的语言特点和任务需求。常见的微调方法包括全参数微调（调整模型所有参数）和参数高效微调（如LoRA，只调整少量额外参数）。微调使大模型能够在医疗、法律、金融等专业领域发挥更精准的作用，也是个性化定制大模型的重要手段。
人类反馈的强化学习（RLHF，Reinforcement Learning from Human Feedback）
RLHF是一种将人类价值观和偏好融入大语言模型的训练方法，是GPT-3后时代大语言模型越来越像人类对话的核心技术。这一方法首先收集人类对模型不同输出的偏好评分，构建人类反馈数据集；然后训练一个奖励模型，模仿人类偏好对结果打分；最后使用强化学习算法（如PPO）优化语言模型，使其生成的内容能够最大化奖励模型的分数。RLHF使模型输出更符合人类期望，能够生成更有帮助、更真实、更安全的回答，同时减少有害或误导性内容。这一技术在ChatGPT等对话模型中发挥了关键作用，使模型能够理解并遵循复杂指令，产生更自然、更有用的回应，显著提升了用户体验。
思维链（Chain-of-Thought，CoT）
思维链是一种提升大语言模型复杂推理能力的技术，通过让模型将一个问题拆解为多个步骤， 一步一步分析，逐步得出正确答案。研究表明，针对复杂问题，大语言模型直接给出答案的错误率较高，而采用思维链方法可以显著提升准确性。思维链可以通过提示词引导实现，如在问题后添加"让我们一步一步思考"，或通过少样本学习，展示几个带有推理过程的示例。这种方法使模型能够模拟人类的思考过程，展示推理路径，不仅提高了结果准确性，还增强了可解释性。思维链技术在数学问题求解、逻辑推理、多步骤规划等任务中表现尤为出色，是大模型处理复杂认知任务的重要突破。
少样本学习（Few-shot Learning）
少样本学习是指在只有少量标注数据的情况下训练模型，使其能够快速适应新任务的能力。在大语言模型中，这通常通过在提示中包含几个任务示例来实现，称为"上下文学习"（in-context learning）。例如，要让模型执行情感分析，可以在提示中提供2-3个带有标签的示例，然后模型就能理解任务并对新输入进行分类。少样本学习的优势在于不需要专门的微调过程，可以在推理阶段动态适应各种任务，大大提高了模型的灵活性和实用性。这一能力在大模型规模增长后显著增强，是大模型相比传统机器学习方法的重要优势之一，使得在资源受限或新兴领域快速部署AI应用成为可能。
零样本学习（Zero-shot Learning）
零样本学习是指模型在没有见过特定任务示例的情况下，仅通过任务描述就能执行新任务的能力。这是大语言模型最令人印象深刻的能力之一，体现了其对语言指令的深度理解和泛化能力。例如，仅通过指令"将以下文本翻译成法语"，模型就能执行翻译任务，而无需提供任何翻译示例。零样本学习依赖于模型在预训练阶段从海量文本中获取的广泛知识和对任务描述的理解能力。这一特性使大模型能够作为通用问题解决工具，处理各种未明确训练过的任务，极大地扩展了应用范围。零样本性能通常随着模型规模增长而提升，是评估大模型通用智能水平的重要指标之一。
指令微调（Instruction Fine-Tuning）
指令微调是针对已经存在的预训练模型，使用包含明确指令-回应对的数据集进行微调，以提升模型遵循人类指令的能力。这一过程使模型学会理解和执行各种自然语言指令，如"总结这篇文章"、"解释量子力学"或"写一首关于春天的诗"。指令微调是使通用语言模型转变为实用 助手的关键步骤，显著提升了模型的可用性和交互性。常用的指令微调数据集包括各种任务指令及其理想回应，覆盖问答、摘要、创作、推理等多种能力。通过指令微调，模型学会了更好地理解用户意图，产生符合预期的输出，并能够处理开放式、多样化的请求，是现代对话式AI 助手的核心训练环节。
自监督学习（Self-Supervised Learning）
自监督学习是一种从未标注数据中自动生成监督信号的学习范式，是大语言模型预训练的主要方法。与传统的监督学习需要人工标注的数据不同，自监督学习通过输入数据本身的部分信息来生成标签。在语言模型中，常见的自监督任务包括预测被遮挡的词（掩码语言建模）或预测序列中的下一个词（因果语言建模）。这种方法的优势在于可以利用互联网上几乎无限的文本数据进行训练，无需昂贵的人工标注。自监督学习使模型能够学习语言的内在结构和规律，捕捉词汇、语法和语义层面的复杂关系，为后续的有监督任务奠定基础。这一技术是大规模语言模型成功的关键因素之一，使模型能够从海量数据中提取有用的表示和知识。
温度（Temperature）
温度是控制大语言模型生成文本随机性的超参数，用来调节模型生成内容的策略，从而决定生成内容的风格。温度值通常在0到2之间，较低的温度（接近0）会使模型更倾向于选择概率最高的词，生成更确定、更保守、更可预测的文本；较高的温度（如1.5-2.0）则会使概率分布更平滑，增加随机性，生成更多样化、更创造性但可能包含更多错误的内容。温度参数在实际应用中非常重要，不同场景需要不同的设置：对于需要准确性的任务（如编程、事实问答）， 通常使用较低温度；而对于创意写作、头脑风暴等任务，则可以使用较高温度。例如， DeepSeek模型将T=0.3~0.7定义为严谨模式，T=0.8~1.2为平衡模式，T=1.5~2.0为创意模式，为不同应用场景提供了参考设置。
蒸馏（Distillation）
蒸馏是一种模型压缩和知识转移技术，通过使用大型高性能模型（教师模型）的输出来训练更小的模型（学生模型）。在大语言模型领域，蒸馏通常指用高质量大模型生成的数据来微调其他较小模型，使其在保持较小规模和高效推理的同时，尽可能接近大模型的性能。蒸馏过程中，学生模型不仅学习正确答案，还学习教师模型的概率分布和内部表示，从而获取更丰富的知识。这一技术在实际应用中非常重要，因为它使得在资源受限的环境（如移动设备）中部署高性能模型成为可能。例如，DeepSeek使用其R1模型生成的80万数据对Qwen和Llama等开源模型进行蒸馏，大幅提升了这些模型的推理性能，实现了知识的高效传递。
缩放定律（Scaling Law）
缩放定律描述了大语言模型性能如何随着模型规模（参数数量）、训练数据集大小和计算资源的增加而变化的数学规律。研究表明，模型性能通常会按照幂律关系改善，即性能与这些因素的对数呈线性关系。这一发现对大模型研究具有深远影响，表明通过简单地扩大模型规模和增加数据量，可以持续提升性能，而不必对模型架构进行根本性改变。缩放定律为大模型的设计和资源分配提供了理论指导，帮助研究者在参数量、数据量和计算量之间找到最优平衡点。同时，它也预示了"扩展即改进"的发展路径，推动了越来越大规模模型的出现。然而，缩放定律也面临挑战，如计算资源限制、数据质量瓶颈以及可能存在的性能上限等问题。
