Transformers 4.37 中文文档（十八）（4）-阿里云开发者社区

Transformers 4.37 中文文档（十八）（3）https://developer.aliyun.com/article/1564909

`prepare_for_tokenization`

( text: str is_split_into_words: bool = False **kwargs ) → export const metadata = 'undefined';Tuple[str, Dict[str, Any]]

参数

text (str) — 要准备的文本。
is_split_into_words (bool, 可选, 默认为 False) — 输入是否已经预先标记化（例如，已分割为单词）。如果设置为 True，分词器会假定输入已经分割为单词（例如，通过在空格上分割），然后对其进行标记化。这对于 NER 或标记分类很有用。
kwargs (Dict[str, Any], 可选) — 用于标记化的关键字参数。

Tuple[str, Dict[str, Any]]

准备好的文本和未使用的 kwargs。

在标记化之前执行任何必要的转换。

此方法应该从 kwargs 中弹出参数并返回剩余的 kwargs。我们在编码过程结束时测试 kwargs，以确保所有参数都已使用。

`tokenize`

< source >

( text: str **kwargs ) → export const metadata = 'undefined';List[str]

参数

text (str) — 要编码的序列。
**kwargs（额外的关键字参数） — 传递给特定于模型的 prepare_for_tokenization 预处理方法。

List[str]

标记列表。

使用分词器将字符串转换为标记序列。

按词汇表中的单词或子词（BPE/SentencePieces/WordPieces）拆分。处理添加的标记。

PreTrainedTokenizerFast

PreTrainedTokenizerFast 依赖于 tokenizers 库。从 🤗 tokenizers 库获取的 tokenizers 可以非常简单地加载到 🤗 transformers 中。查看 Using tokenizers from 🤗 tokenizers 页面以了解如何执行此操作。

`class transformers.PreTrainedTokenizerFast`

< source >

( *args **kwargs )

参数

model_max_length (int, optional) — 输入到变换器模型的最大长度（以标记数计）。当使用 from_pretrained() 加载分词器时，这将设置为存储在 max_model_input_sizes 中关联模型的值（见上文）。如果未提供值，将默认为 VERY_LARGE_INTEGER (int(1e30)）。
padding_side (str, optional) — 模型应该在哪一侧应用填充。应该在 [‘right’, ‘left’] 中选择。默认值从同名类属性中选择。
truncation_side (str, optional) — 模型应该在哪一侧应用截断。应该在 [‘right’, ‘left’] 中选择。默认值从同名类属性中选择。
chat_template (str, optional) — 一个 Jinja 模板字符串，用于格式化聊天消息列表。详细描述请参阅 huggingface.co/docs/transformers/chat_templating。
model_input_names (List[string], optional) — 模型前向传递接受的输入列表（如 "token_type_ids" 或 "attention_mask"）。默认值从同名类属性中选择。
bos_token (str 或 tokenizers.AddedToken, optional) — 表示句子开头的特殊标记。将与 self.bos_token 和 self.bos_token_id 关联。
eos_token (str 或 tokenizers.AddedToken, optional) — 表示句子结尾的特殊标记。将与 self.eos_token 和 self.eos_token_id 关联。
unk_token (str 或 tokenizers.AddedToken, optional) — 表示词汇外标记的特殊标记。将与 self.unk_token 和 self.unk_token_id 关联。
sep_token (str 或 tokenizers.AddedToken, optional) — 用于在同一输入中分隔两个不同句子的特殊标记（例如 BERT 使用）。将与 self.sep_token 和 self.sep_token_id 关联。
pad_token (str 或 tokenizers.AddedToken, optional) — 用于使标记数组大小相同以进行批处理的特殊标记。然后将被注意机制或损失计算忽略。将与 self.pad_token 和 self.pad_token_id 关联。
cls_token (str 或 tokenizers.AddedToken, optional) — 表示输入类别的特殊标记（例如 BERT 使用）。将与 self.cls_token 和 self.cls_token_id 关联。
mask_token (str 或 tokenizers.AddedToken, optional) — 表示掩码标记的特殊标记（用于掩码语言建模预训练目标，如 BERT）。将与 self.mask_token 和 self.mask_token_id 关联。
additional_special_tokens (元组或列表，包含 str 或 tokenizers.AddedToken, optional) — 附加特殊标记的元组或列表。在这里添加它们以确保在 skip_special_tokens 设置为 True 时解码时跳过它们。如果它们不是词汇的一部分，它们将被添加到词汇的末尾。
clean_up_tokenization_spaces (bool, optional, 默认为 True) — 模型是否应该清除在标记化过程中拆分输入文本时添加的空格。
split_special_tokens (bool, optional, 默认为 False) — 在标记化过程中是否应该拆分特殊标记。默认行为是不拆分特殊标记。这意味着如果是 bos_token，那么 tokenizer.tokenize("") = [']。否则，如果 split_special_tokens=True，那么 tokenizer.tokenize("") 将会给出 ['<', 's', '>']。此参数目前仅支持 slow tokenizers。
tokenizer_object (tokenizers.Tokenizer) — 一个来自🤗 tokenizers 的tokenizers.Tokenizer对象，用于实例化。更多信息请参阅使用🤗 tokenizers。
tokenizer_file (str) — 一个指向本地 JSON 文件的路径，表示以前序列化的tokenizers.Tokenizer对象。

所有快速分词器的基类（包装 HuggingFace 分词器库）。

继承自 PreTrainedTokenizerBase。

处理所有分词和特殊标记的共享方法，以及用于下载/缓存/加载预训练分词器的方法，以及向词汇表添加标记。

这个类还以统一的方式包含了所有分词器的添加标记，因此我们不必处理各种底层字典结构（BPE、sentencepiece 等）的特定词汇增强方法。

类属性（派生类覆盖）

vocab_files_names (Dict[str, str]) — 一个字典，键为模型所需的每个词汇文件的__init__关键字名称，相关值为保存关联文件的文件名（字符串）。
pretrained_vocab_files_map (Dict[str, Dict[str, str]]) — 一个字典，高级键是模型所需的每个词汇文件的__init__关键字名称，低级键是预训练模型的short-cut-names，相关值是关联的预训练词汇文件的url。
max_model_input_sizes (Dict[str, Optional[int]]) — 一个字典，键为预训练模型的short-cut-names，相关值为该模型的序列输入的最大长度，如果模型没有最大输入大小，则为None。
pretrained_init_configuration (Dict[str, Dict[str, Any]]) — 一个字典，键为预训练模型的short-cut-names，相关值为传递给加载预训练模型时 tokenizer 类的__init__方法的特定参数字典，使用 from_pretrained()方法。
model_input_names (List[str]) — 模型前向传递中期望的输入列表。
padding_side (str) — 模型应用填充的默认方向。应为'right'或'left'。
truncation_side (str) — 模型应用截断的默认方向。应为'right'或'left'。

`call`

<来源>

( text: Union = None text_pair: Union = None text_target: Union = None text_pair_target: Union = None add_special_tokens: bool = True padding: Union = False truncation: Union = None max_length: Optional = None stride: int = 0 is_split_into_words: bool = False pad_to_multiple_of: Optional = None return_tensors: Union = None return_token_type_ids: Optional = None return_attention_mask: Optional = None return_overflowing_tokens: bool = False return_special_tokens_mask: bool = False return_offsets_mapping: bool = False return_length: bool = False verbose: bool = True **kwargs ) → export const metadata = 'undefined';BatchEncoding

参数

text (str, List[str], List[List[str]], optional) — 要编码的序列或批次序列。每个序列可以是字符串或字符串列表（预分词字符串）。如果提供的序列是字符串列表（预分词的），必须设置is_split_into_words=True（以消除与批次序列的歧义）。
text_pair (str, List[str], List[List[str]], optional) — 要编码的序列或批次序列。每个序列可以是字符串或字符串列表（预分词字符串）。如果提供的序列是字符串列表（预分词的），必须设置is_split_into_words=True（以消除与批次序列的歧义）。
text_target (str, List[str], List[List[str]], optional) — 要编码为目标文本的序列或批次序列。每个序列可以是字符串或字符串列表（预分词字符串）。如果提供的序列是字符串列表（预分词的），必须设置is_split_into_words=True（以消除与批次序列的歧义）。
text_pair_target (str, List[str], List[List[str]], 可选) — 要编码为目标文本的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）的形式提供，则必须设置is_split_into_words=True（以消除与序列批次的歧义）。
add_special_tokens (bool, 可选, 默认为True) — 在编码序列时是否添加特殊标记。这将使用底层的PretrainedTokenizerBase.build_inputs_with_special_tokens函数，该函数定义了自动添加到输入 id 的标记。如果要自动添加bos或eos标记，则这很有用。
padding (bool, str 或 PaddingStrategy, 可选, 默认为False) — 激活和控制填充。接受以下值：

True 或 'longest': 填充到批次中最长的序列（或如果只提供了单个序列，则不填充）。
'max_length': 使用参数max_length指定的最大长度进行填充，或者如果未提供该参数，则填充到模型的最大可接受输入长度。
False 或 'do_not_pad'（默认）：无填充（即，可以输出长度不同的序列批次）。

truncation (bool, str 或 TruncationStrategy, 可选, 默认为False) — 激活和控制截断。接受以下值：

True 或 'longest_first': 使用参数max_length指定的最大长度进行截断，或者如果未提供该参数，则截断到模型的最大可接受输入长度。如果提供了一对序列（或一批序列），则将逐标记截断，从中删除最长序列中的一个标记。
'only_first': 使用参数max_length指定的最大长度进行截断，或者如果未提供该参数，则截断到模型的最大可接受输入长度。如果提供了一对序列（或一批序列），则只会截断第一个序列。
'only_second': 使用参数max_length指定的最大长度进行截断，或者如果未提供该参数，则截断到模型的最大可接受输入长度。如果提供了一对序列（或一批序列），则只会截断第二个序列。
False 或 'do_not_truncate'（默认）：无截断（即，可以输出长度大于模型最大可接受输入大小的序列批次）。

max_length (int, 可选) — 控制截断/填充参数之一使用的最大长度。
如果未设置或设置为None，则如果截断/填充参数需要最大长度，则将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则将禁用截断/填充到最大长度。
stride (int, 可选, 默认为 0) — 如果与max_length一起设置为一个数字，当return_overflowing_tokens=True时返回的溢出标记将包含被截断序列末尾的一些标记，以提供截断和溢出序列之间的一些重叠。该参数的值定义了重叠标记的数量。
is_split_into_words (bool, 可选, 默认为False) — 输入是否已经预分词（例如，已分割为单词）。如果设置为True，则分词器会假定输入已经分割为单词（例如，通过在空格上分割），然后对其进行分词。这对于命名实体识别或标记分类很有用。
pad_to_multiple_of (int, 可选) — 如果设置，将序列填充到提供的值的倍数。需要激活padding。这对于在具有计算能力>= 7.5（Volta）的 NVIDIA 硬件上启用 Tensor Cores 特别有用。
return_tensors (str或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：

'tf': 返回 TensorFlow tf.constant对象。
'pt': 返回 PyTorch torch.Tensor对象。
'np': 返回 Numpy np.ndarray对象。

return_token_type_ids (bool, 可选) — 是否返回 token 类型 ID。如果保持默认设置，将根据特定分词器的默认设置返回 token 类型 ID，由return_outputs属性定义。
什么是 token 类型 ID？
return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保持默认设置，将根据特定分词器的默认设置返回注意力掩码，由return_outputs属性定义。
什么是注意力掩码？
return_overflowing_tokens (bool, 可选, 默认为False) — 是否返回溢出的 token 序列。如果提供一对输入 id 序列（或一批对）并且truncation_strategy = longest_first或True，则会引发错误，而不是返回溢出的 token。
return_special_tokens_mask (bool, 可选, 默认为False) — 是否返回特殊 token 掩码信息。
return_offsets_mapping (bool, 可选, 默认为False) — 是否返回每个 token 的(char_start, char_end)。
这仅适用于继承自 PreTrainedTokenizerFast 的快速分词器，如果使用 Python 的分词器，此方法将引发NotImplementedError。
return_length (bool, 可选, 默认为False) — 是否返回编码输入的长度。
verbose (bool, 可选, 默认为True) — 是否打印更多信息和警告。**kwargs — 传递给self.tokenize()方法

BatchEncoding

一个具有以下字段的 BatchEncoding：

input_ids — 要馈送给模型的 token id 列表。
什么是输入 ID？
token_type_ids — 要馈送给模型的 token 类型 id 列表（当return_token_type_ids=True或*token_type_ids*在self.model_input_names中时）。
什么是 token 类型 ID？
attention_mask — 指定哪些 token 应该被模型关注的索引列表（当return_attention_mask=True或*attention_mask*在self.model_input_names中时）。
什么是注意力掩码？
overflowing_tokens — 溢出 token 序列的列表（当指定max_length并且return_overflowing_tokens=True时）。
num_truncated_tokens — 截断的 token 数量（当指定max_length并且return_overflowing_tokens=True时）。
special_tokens_mask — 由 0 和 1 组成的列表，其中 1 指定添加的特殊 token，0 指定常规序列 token（当add_special_tokens=True和return_special_tokens_mask=True时）。
length — 输入的长度（当return_length=True时）

将主要方法标记化并为模型准备一个或多个序列或一个或多个序列对。

`add_tokens`

<来源>

( new_tokens: Union special_tokens: bool = False ) → export const metadata = 'undefined';int

参数

new_tokens (str, tokenizers.AddedToken或str列表或tokenizers.AddedToken) — 仅当这些标记尚未在词汇表中时才会添加这些标记。tokenizers.AddedToken将字符串标记包装起来，以便您可以个性化其行为：这个标记是否只匹配单个单词，这个标记是否应该去除左侧的所有潜在空格，这个标记是否应该去除右侧的所有潜在空格等。
special_tokens (bool, 可选, 默认为 False) — 可用于指定该标记是否为特殊标记。这主要会改变标准化行为（例如，特殊标记如 CLS 或[MASK]通常不会被转换为小写）。
在 HuggingFace 分词器库中查看tokenizers.AddedToken的详细信息。

int

添加到词汇表中的标记数。

向分词器类添加新标记列表。如果新标记不在词汇表中，则它们将被添加到其中，索引从当前词汇表的长度开始，并且在应用分词算法之前将被隔离。因此，添加的标记和分词算法的词汇表中的标记不会以相同的方式处理。

请注意，当向词汇表添加新标记时，您应确保还调整模型的标记嵌入矩阵大小，以使其嵌入矩阵与分词器匹配。

为了实现这一点，请使用 resize_token_embeddings()方法。

示例：

# Let's see how to increase the vocabulary of Bert model and tokenizer
tokenizer = BertTokenizerFast.from_pretrained("bert-base-uncased")
model = BertModel.from_pretrained("bert-base-uncased")
num_added_toks = tokenizer.add_tokens(["new_tok1", "my_new-tok2"])
print("We have added", num_added_toks, "tokens")
# Notice: resize_token_embeddings expect to receive the full size of the new vocabulary, i.e., the length of the tokenizer.
model.resize_token_embeddings(len(tokenizer))

`add_special_tokens`

<来源>

( special_tokens_dict: Dict replace_additional_special_tokens = True ) → export const metadata = 'undefined';int

参数

special_tokens_dict（字典str到str或tokenizers.AddedToken） — 键应在预定义特殊属性列表中：[bos_token, eos_token, unk_token, sep_token, pad_token, cls_token, mask_token, additional_special_tokens]。
仅当这些标记尚未在词汇表中时才会添加这些标记（通过检查分词器是否将unk_token的索引分配给它们进行测试）。
replace_additional_special_tokens (bool, 可选, 默认为 True) — 如果为True，则现有的额外特殊标记列表将被special_tokens_dict中提供的列表替换。否则，self._additional_special_tokens将仅被扩展。在前一种情况下，这些标记将不会从分词器的完整词汇表中删除 - 它们只被标记为非特殊标记。请记住，这仅影响解码过程中跳过哪些标记，而不影响added_tokens_encoder和added_tokens_decoder。这意味着以前的additional_special_tokens仍然是添加的标记，并且不会被模型拆分。

int

添加到词汇表中的标记数。

向编码器添加特殊标记字典（eos，pad，cls 等）并将它们链接到类属性。如果特殊标记不在词汇表中，则它们将被添加到其中（索引从当前词汇表的最后一个索引开始）。

当向词汇表添加新标记时，您应确保还调整模型的标记嵌入矩阵大小，以使其嵌入矩阵与分词器匹配。

为了实现这一点，请使用 resize_token_embeddings()方法。

使用add_special_tokens将确保您的特殊标记可以以多种方式使用：

解码时可以通过skip_special_tokens = True跳过特殊标记。
特殊标记由分词器仔细处理（它们永远不会被拆分），类似于AddedTokens。
您可以通过分词器类属性（如tokenizer.cls_token）轻松引用特殊标记。这使得开发与模型无关的训练和微调脚本变得容易。

在可能的情况下，已经为提供的预训练模型注册了特殊标记（例如 BertTokenizer cls_token已经注册为：obj*’[CLS]’*，XLM 的一个也已经注册为''）。

示例：

# Let's see how to add a new classification token to GPT-2
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
model = GPT2Model.from_pretrained("gpt2")
special_tokens_dict = {"cls_token": "<CLS>"}
num_added_toks = tokenizer.add_special_tokens(special_tokens_dict)
print("We have added", num_added_toks, "tokens")
# Notice: resize_token_embeddings expect to receive the full size of the new vocabulary, i.e., the length of the tokenizer.
model.resize_token_embeddings(len(tokenizer))
assert tokenizer.cls_token == "<CLS>"

`apply_chat_template`

<来源>

( conversation: Union chat_template: Optional = None add_generation_prompt: bool = False tokenize: bool = True padding: bool = False truncation: bool = False max_length: Optional = None return_tensors: Union = None **tokenizer_kwargs ) → export const metadata = 'undefined';List[int]

参数

conversation（Union[List[Dict[str, str]], “Conversation”）— 一个 Conversation 对象或带有“role”和“content”键的字典列表，表示到目前为止的聊天历史。
chat_template（str，可选）— 用于此转换的 Jinja 模板。如果未传递此参数，则将使用模型的默认聊天模板。
add_generation_prompt（bool，可选）— 是否以指示助手消息开始的标记结束提示。当您想要从模型生成响应时，这很有用。请注意，此参数将传递给聊天模板，因此模板必须支持此参数才能产生任何效果。
tokenize（bool，默认为True）— 是否对输出进行分词。如果为False，输出将是一个字符串。
padding（bool，默认为False）— 是否将序列填充到最大长度。如果 tokenize 为False，则无效。
truncation（bool，默认为False）— 是否在最大长度处截断序列。如果 tokenize 为False，则无效。
max_length（int，可选）— 用于填充或截断的最大长度（以标记为单位）。如果 tokenize 为False，则无效。如果未指定，将使用分词器的max_length属性作为默认值。
return_tensors（str或 TensorType，可选）— 如果设置，将返回特定框架的张量。如果 tokenize 为False，则无效。可接受的值为：

'tf'：返回 TensorFlow tf.Tensor对象。
'pt'：返回 PyTorch torch.Tensor对象。
'np'：返回 NumPy np.ndarray对象。
'jax'：返回 JAX jnp.ndarray对象。**tokenizer_kwargs — 传递给分词器的其他 kwargs。

List[int]

表示到目前为止标记化聊天的标记 id 列表，包括控制标记。此输出已准备好传递给模型，可以直接传递，也可以通过generate()等方法传递。

将 Conversation 对象或带有"role"和"content"键的字典列表转换为标记 id 列表。此方法旨在与聊天模型一起使用，并将读取分词器的 chat_template 属性以确定在转换时要使用的格式和控制标记。当 chat_template 为 None 时，将退回到类级别指定的 default_chat_template。

`batch_decode`

<来源>

( sequences: Union skip_special_tokens: bool = False clean_up_tokenization_spaces: bool = None **kwargs ) → export const metadata = 'undefined';List[str]

参数

sequences（Union[List[int], List[List[int]], np.ndarray, torch.Tensor, tf.Tensor]）— 标记化输入 id 的列表。可以使用__call__方法获得。
skip_special_tokens（bool，可选，默认为False）— 是否删除解码中的特殊标记。
clean_up_tokenization_spaces（bool，可选）— 是否清除分词空格。如果为None，将默认为self.clean_up_tokenization_spaces。
kwargs（其他关键字参数，可选）— 将传递给底层模型特定的解码方法。

List[str]

解码的句子列表。

通过调用 decode 将标记 id 的列表列表转换为字符串列表。

`decode`

<来源>

( token_ids: Union skip_special_tokens: bool = False clean_up_tokenization_spaces: bool = None **kwargs ) → export const metadata = 'undefined';str

参数

token_ids（Union[int, List[int], np.ndarray, torch.Tensor, tf.Tensor]）— 标记化输入 id 的列表。可以使用__call__方法获得。
skip_special_tokens（bool，可选，默认为False）—在解码时是否删除特殊标记。
clean_up_tokenization_spaces（bool，可选）—是否清理标记化空格。如果为None，将默认为self.clean_up_tokenization_spaces。
kwargs（附加关键字参数，可选）—将传递给底层模型特定的解码方法。

str

解码后的句子。

将一系列 id 转换为字符串，使用标记器和词汇表，可以选择删除特殊标记并清理标记化空格。

类似于执行self.convert_tokens_to_string(self.convert_ids_to_tokens(token_ids))。

`encode`

<来源>

( text: Union text_pair: Union = None add_special_tokens: bool = True padding: Union = False truncation: Union = None max_length: Optional = None stride: int = 0 return_tensors: Union = None **kwargs ) → export const metadata = 'undefined';List[int], torch.Tensor, tf.Tensor or np.ndarray

参数

text（str，List[str]或List[int]）—要编码的第一个序列。这可以是一个字符串，一个字符串列表（使用tokenize方法进行标记化的字符串）或一个整数列表（使用convert_tokens_to_ids方法进行标记化的字符串 id）。
text_pair（str，List[str]或List[int]，可选）—要编码的可选第二个序列。这可以是一个字符串，一个字符串列表（使用tokenize方法进行标记化的字符串）或一个整数列表（使用convert_tokens_to_ids方法进行标记化的字符串 id）。
add_special_tokens（bool，可选，默认为True）—在编码序列时是否添加特殊标记。这将使用底层的PretrainedTokenizerBase.build_inputs_with_special_tokens函数，该函数定义了自动添加到输入 id 的标记。如果要自动添加bos或eos标记，则这很有用。
padding（bool，str或 PaddingStrategy，可选，默认为False）—激活和控制填充。接受以下值：

True或'longest'：填充到批次中最长的序列（如果只提供单个序列，则不进行填充）。
'max_length'：填充到由参数max_length指定的最大长度，或者如果未提供该参数，则填充到模型的最大可接受输入长度。
False或'do_not_pad'（默认）：不填充（即，可以输出具有不同长度序列的批次）。

truncation（bool，str或 TruncationStrategy，可选，默认为False）—激活和控制截断。接受以下值：

True或'longest_first'：截断到由参数max_length指定的最大长度，或者如果未提供该参数，则截断到模型的最大可接受输入长度。如果提供了一对序列（或一批对序列），则将逐标记截断，从一对序列中最长的序列中删除一个标记。
'only_first'：截断到由参数max_length指定的最大长度，或者如果未提供该参数，则截断到模型的最大可接受输入长度。如果提供了一对序列（或一批对序列），则只会截断第一个序列。
'only_second'：截断到由参数max_length指定的最大长度，或者如果未提供该参数，则截断到模型的最大可接受输入长度。如果提供了一对序列（或一批对序列），则只会截断第二个序列。
False或'do_not_truncate'（默认）：不截断（即，可以输出长度大于模型最大可接受输入大小的序列批次）。

max_length（int，可选）—由截断/填充参数之一控制要使用的最大长度。
如果未设置或设置为 None，则如果截断/填充参数中需要最大长度，则将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则将禁用截断/填充到最大长度。
stride (int, 可选, 默认为 0) — 如果与 max_length 一起设置为一个数字，则当 return_overflowing_tokens=True 时返回的溢出标记将包含截断序列末尾的一些标记，以提供截断和溢出序列之间的一些重叠。此参数的值定义重叠标记的数量。
is_split_into_words (bool, 可选, 默认为 False) — 输入是否已经预先分词（例如，已分成单词）。如果设置为 True，分词器将假定输入已经分成单词（例如，通过在空格上分割），然后对其进行分词。这对于 NER 或标记分类很有用。
pad_to_multiple_of (int, 可选) — 如果设置，将序列填充到提供的值的倍数。需要激活 padding。这对于在具有计算能力 >= 7.5（Volta）的 NVIDIA 硬件上启用 Tensor Cores 特别有用。
return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：

'tf': 返回 TensorFlow tf.constant 对象。
'pt': 返回 PyTorch torch.Tensor 对象。
'np': 返回 Numpy np.ndarray 对象。

**kwargs — 传递给 .tokenize() 方法。

返回值

List[int], torch.Tensor, tf.Tensor 或 np.ndarray

文本的标记化 id。

使用分词器和词汇表将字符串转换为 id（整数）序列。

相当于执行 self.convert_tokens_to_ids(self.tokenize(text))。

Transformers 4.37 中文文档（十八）（5）https://developer.aliyun.com/article/1564911

Transformers 4.37 中文文档（十八）（4）

`prepare_for_tokenization`

`tokenize`

PreTrainedTokenizerFast

`class transformers.PreTrainedTokenizerFast`

`call`

`add_tokens`

`add_special_tokens`

`apply_chat_template`

`batch_decode`

`decode`

`encode`

热门文章

最新文章

相关课程

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

Transformers 4.37 中文文档（十八）（4）

prepare_for_tokenization

tokenize

PreTrainedTokenizerFast

class transformers.PreTrainedTokenizerFast

__call__

add_tokens

add_special_tokens

apply_chat_template

batch_decode

decode

encode

热门文章

最新文章

相关课程

相关电子书

`prepare_for_tokenization`

`tokenize`

`class transformers.PreTrainedTokenizerFast`

`call`

`add_tokens`

`add_special_tokens`

`apply_chat_template`

`batch_decode`

`decode`

`encode`