这几年跟人聊大模型,最常见的尴尬不是技术不懂,是同一个东西三个人叫三种名字。
有人管它叫"大模型",有人叫"LLM",有人叫"GPT",还有人张口就是"Transformer"。听着像一个东西,其实差得远:有的是产品,有的是架构,有的是训练目标。名字没对齐,后面的讨论基本是自说自话。
所以这三期的第一篇不讲原理,先把名字和缩写理清楚。第二期讲它到底在算什么,第三期讲 SFT、LoRA、RAG、Agent 这些工程上天天见的缩写各自解决什么问题。
一、LLM 和 GPT:一个说类别,一个说方法
LLM 是 Large Language Model,大语言模型。它描述的是一个类别:用海量文本训练出来的、以"预测下一个词"为核心任务的模型。判断一个模型是不是 LLM,看两点就够了,参数量够大,训练目标够简单,就是预测下一个 token。
GPT 是 Generative Pre-trained Transformer,生成式预训练变换器。它是一个具体的方法论路线,三个词各管一段。Generative 说的是它做生成,不是做分类打分;Pre-trained 说的是先用无标注语料预训练一遍,再谈后面的微调;Transformer 说的是它用的网络结构。
所以准确的说法是,GPT 是 LLM 里的一种技术路线。市面上除了 GPT 系,还有用同样 Transformer 结构但训练目标不同的路线,也有把上面三个词的顺序换一下的变体。把它们都叫"GPT",就像把所有越野车都叫"吉普"。
二、Transformer:真正的地基
Transformer 是 2017 年那篇论文提出的网络结构,核心机制叫注意力。它的意义不在于多先进,而在于把序列计算做成了可以大规模并行的形式。
在这之前处理文本主要靠循环网络,一个词一个词往前推,前后有依赖,跑不快。注意力机制把整段文本同时喂进去,让每个词自己去"看"其他词,谁相关就给谁高权重。这一改动让训练可以摊到几千张卡上同时算,大模型才有可能出现。
工程上你只需要记住一件事:Transformer 的算力开销跟序列长度不是线性关系。文本越长,要算的词与词之间的关系越多,成本涨得比长度快。这就是为什么"上下文长度"一直是个性价比问题,不是纯技术参数。
三、token:模型眼里的最小单位
token 是模型处理文本的最小颗粒,可以粗略理解成"词块"。一个汉字大约 1 到 2 个 token,一个英文单词大概 1 个 token 多一点。常见中文文本里,一千个汉字大致对应一千到两千个 token。
这个单位为什么重要,因为它直接决定三件事。
一是计费和限流都按 token 算,你输入的提示词长度直接换算成钱。二是模型能一次处理的量有上限,这个上限就是上下文窗口,超出部分要被截断,不会因为"你没说"而自动保留。三是所有"看起来很慢"的场景,十有八九是 token 太多,要么输入太长,要么模型在逐字往外吐。
四、参数与权重:模型记住了什么,又记不住什么
参数是模型内部可调的数字,训练就是把它们调到一个能拟合数据的位置。七十亿参数就是七十亿个数字,乘以精度折算下来就是显存占用,这也是"能不能跑在本地"的第一道门槛。
这里有个常见误解,认为参数越多记得越准。参数更像压缩后的统计规律,不是数据库。模型能记住大量"语言上经常一起出现的东西",记不住"只出现一次的具体事实"。所以它会流畅地编造一个不存在的论文编号,语气还很自信。这不是坏,是它的工作机制本来的样子。
五、上下文窗口与温度:两个最容易被忽略的开关
上下文窗口是模型一次能看见的全部内容,包括你的系统提示、历史对话、检索进来的资料、以及它自己刚说过的话。窗口不够时,最早的内容会被挤掉,表现就是"聊着聊着它忘了前面说过的要求"。
温度控制输出的随机性。温度低,模型倾向选概率最高的词,输出稳定但干巴;温度高,低概率的词也有机会被选中,输出有变化但容易跑偏。做事实性问答和代码生成时温度该低,做文案发散时温度可以高一些。同一个问题两次答案不一样,不是模型坏了,是采样在起作用。
六、一张对照表,把这一期的词收个尾
LLM 是类别,大语言模型。GPT 是路线,生成式预训练变换器。Transformer 是结构,注意力的载体。token 是计量单位,一切成本按它算。参数是模型的记忆载体,不是数据库。上下文窗口是工作台大小,决定它一次能看多少。温度是随机性旋钮,决定输出稳不稳。
下一篇讲它到底在算什么,从一句话输入到一段话输出,中间到底经过哪几步,以及为什么它会一本正经地胡说八道。