Transformers从入门到精通：token和它的三种粒度

大家对于token的概念可能司空见惯了，现在的大语言模型的计费方式一般都采用输入和输出的token数量来计费。那到底什么是token，它的作用是什么？

1. 什么是Token？

在自然语言处理中，Token是文本预处理的基本单元，通常是指由空格、标点符号等分隔开的文本中的一个个部分，比如单词、词组、符号等。Tokenization（分词）是将文本分割成Token的过程。

2. Token和文本处理的特殊性

我们知道神经网络模型的输入和输出都是数值

• 对于图像处理如CNN来说，图像本身就是0-255的数值，不需要额外的处理，就可以直接作为神经网络的输入
• 而对于文本来说，本身是字符并不是数值，所以必须将字符转换为数值，输入到神经网络，神经网络的输出也是数值，最后还需要将数值转换为字符

所以文本处理的特殊性：需要一个词汇表表示神经网络预测输出的范围，通常称为vocabulary

3. tokenize三种粒度：word/subword/char

tokenization 是将文本分解成更小单位（tokens）的过程。根据分解的粒度不同，tokenization 可以分为三种主要类型：单词级（word-level）、子词级（subword-level）和字符级（character-level）。每种粒度都有其独特的优点和适用场景。

3.1. 单词级 Tokenization（Word-level Tokenization）

描述

单词级 tokenization 是将文本分解成单个单词的过程。这是最直观和常见的分词方法，尤其适用于空格显著的语言如英语。

优点

• 直观性强：与人类的语言理解方式一致。
• 便于操作：容易实现和理解，适合快速原型开发。

缺点

• 词汇表庞大：需要存储大量不同的单词形式，增加存储和计算开销。
• 处理未登录词（OOV）问题：对于未出现在训练数据中的词汇，处理能力较弱。
• 不同语言的复杂性：对于没有明确分词符号的语言（如中文），单词级分词较为复杂。

示例

英文文本："This is a tokenizer."
分词结果：

['This', 'is', 'a', 'tokenizer', '.']

工具

• Python 内置 split() 函数
• NLTK 库
• spaCy
• Jieba（适用于中文）

3.2. 子词级 Tokenization（Subword-level Tokenization）

描述

子词级 tokenization 是将文本分解成比单词更小的单位（子词）的过程。常见的方法有 BPE、WordPiece 和 SentencePiece。子词级 tokenization 通过分解单词，可以有效处理未登录词，并且减少词汇表大小。

优点

• 处理未登录词：通过分解为已知子词，能够处理未登录词。
• 减少词汇表大小：通过合并高频子词对，生成的词汇表更加紧凑。
• 适应多语言任务：较好地处理多语言文本。

缺点

• 实现复杂度高：实现和理解相对复杂。
• 有时难以解释：分词结果有时不直观，不易于解释。

示例

英文文本："unaffable"
分词结果（使用 WordPiece）：

['un', 'aff', 'able']

工具

• Byte Pair Encoding（BPE）
• WordPiece
• SentencePiece

3.3. 字符级 Tokenization（Character-level Tokenization）

描述

字符级 tokenization 是将文本分解成单个字符的过程。这种方法将每个字符视为独立的 token。

优点

• 处理未登录词：最小化未登录词问题，每个字符都在词汇表中。
• 词汇表最小：词汇表大小通常为字符集的大小，存储和计算开销最小。
• 灵活性高：适用于所有语言和符号。

缺点

• 上下文理解能力弱：单个字符的信息量较少，模型需要更长的上下文来理解文本。
• 训练复杂度高：由于 token 数量多，模型训练时间较长。

示例

英文文本："token"
分词结果：

['t', 'o', 'k', 'e', 'n']

工具

• Python 内置 list() 函数
• 自定义字符分割函数

4 总结

在 NLP 中，不同粒度的 tokenization 方法各有优缺点：

• 单词级 tokenization：直观、操作简单，但词汇表大，处理未登录词能力差。
• 子词级 tokenization：平衡了词汇表大小和处理未登录词能力，但实现复杂。
• 字符级 tokenization：最小化未登录词问题，词汇表小，但需要处理更多的 token，总体训练复杂度高。

选择合适的 tokenization 方法取决于具体的应用场景、语言特点和计算资源。合理的 tokenization 是提升 NLP 模型性能的重要步骤之一。