LLM主要类别架构（二）
**LLM主要类别概览：**
1. **自回归模型 (AR)** - 如GPT，特点是Decoder-Only，利用上下文信息预测单词，适合自然语言生成任务。
2. **自编码模型 (AE)** - 以BERT为代表，利用上下文的双向信息进行预训练，擅长自然语言理解任务。
3. **序列到序列模型 (Seq2Seq)** - 包含编码器和解码器，用于序列转换任务，如机器翻译。
GPT是Decoder-Only模型，预训练包括两阶段：
- **无监督预训练**：预测序列中缺失的单词。
- **有监督微调**：根据下游任务调整模型，如分类、问答等。
