Transformers 4.37 中文文档（十八）（3）-阿里云开发者社区

Transformers 4.37 中文文档（十八）（2）https://developer.aliyun.com/article/1564908

PreTrainedTokenizer

`class transformers.PreTrainedTokenizer`

( **kwargs )

参数

model_max_length（int，可选）— 输入到变换器模型的最大长度（以标记数计）。当使用 from_pretrained()加载分词器时，这将设置为存储在max_model_input_sizes中的相关模型的值（见上文）。如果未提供值，将默认为 VERY_LARGE_INTEGER（int(1e30)）。
padding_side（str，可选）— 模型应该应用填充的一侧。应该在[‘right’，‘left’]之间选择。默认值从同名的类属性中选择。
truncation_side（str，可选）— 模型应该应用截断的一侧。应该在[‘right’，‘left’]之间选择。默认值从同名的类属性中选择。
chat_template（str，可选）— 用于格式化聊天消息列表的 Jinja 模板字符串。查看huggingface.co/docs/transformers/chat_templating获取完整描述。
model_input_names（List[string]，可选）— 模型前向传递接受的输入列表（如"token_type_ids"或"attention_mask"）。默认值从同名的类属性中选择。
bos_token（str或tokenizers.AddedToken，可选）— 表示句子开头的特殊标记。将与self.bos_token和self.bos_token_id相关联。
eos_token（str或tokenizers.AddedToken，可选）— 表示句子结束的特殊标记。将与self.eos_token和self.eos_token_id相关联。
unk_token（str或tokenizers.AddedToken，可选）— 表示词汇外标记的特殊标记。将与self.unk_token和self.unk_token_id相关联。
sep_token（str或tokenizers.AddedToken，可选）— 在同一输入中分隔两个不同句子的特殊标记（例如 BERT 使用）。将与self.sep_token和self.sep_token_id相关联。
pad_token（str或tokenizers.AddedToken，可选）— 用于使标记数组大小相同以进行批处理的特殊标记。然后将被注意机制或损失计算忽略。将与self.pad_token和self.pad_token_id相关联。
cls_token（str或tokenizers.AddedToken，可选）— 表示输入类别的特殊标记（例如 BERT 使用）。将与self.cls_token和self.cls_token_id相关联。
mask_token（str或tokenizers.AddedToken，可选）— 表示掩码标记的特殊标记（用于掩码语言建模预训练目标，如 BERT）。将与self.mask_token和self.mask_token_id相关联。
additional_special_tokens（str或tokenizers.AddedToken的元组或列表，可选）— 附加特殊标记的元组或列表。在此添加它们以确保在设置skip_special_tokens为 True 时解码时跳过它们。如果它们不是词汇的一部分，它们将被添加到词汇的末尾。
clean_up_tokenization_spaces（bool，可选，默认为True）— 模型是否应清除在标记化过程中拆分输入文本时添加的空格。
split_special_tokens (bool, optional, defaults to False) — 是否在标记化过程中拆分特殊标记。默认行为是不拆分特殊标记。这意味着如果是 bos_token，那么 tokenizer.tokenize("") = [']。否则，如果 split_special_tokens=True，那么 tokenizer.tokenize(“”)将会给出[‘<’, ‘s’, ‘>’]。此参数目前仅支持slow`类型的分词器。

所有慢分词器的基类。

继承自 PreTrainedTokenizerBase。

处理所有用于标记化和特殊标记的共享方法，以及用于下载/缓存/加载预训练 tokenizer 以及向词汇表添加标记的方法。

这个类还以统一的方式包含了所有 tokenizer 的添加标记，因此我们不必处理各种底层字典结构（BPE、sentencepiece 等）的特定词汇增强方法。

类属性（由派生类覆盖）

vocab_files_names (Dict[str, str]) — 一个字典，键是模型所需的每个词汇文件的__init__关键字名称，值是保存相关文件的文件名（字符串）。
pretrained_vocab_files_map (Dict[str, Dict[str, str]]) — 一个字典的字典，高级键是模型所需的每个词汇文件的__init__关键字名称，低级键是预训练模型的short-cut-names，值是相关预训练词汇文件的url。
max_model_input_sizes (Dict[str, Optional[int]]) — 一个字典，键是预训练模型的short-cut-names，值是该模型的序列输入的最大长度，如果模型没有最大输入大小，则为None。
pretrained_init_configuration (Dict[str, Dict[str, Any]]) — 一个字典，键是预训练模型的short-cut-names，值是一个字典，包含加载预训练模型时传递给 tokenizer 类的__init__方法的特定参数。
model_input_names (List[str]) — 模型前向传递中预期的输入列表。
padding_side (str) — 模型应用填充的默认方向。应为'right'或'left'。
truncation_side (str) — 模型应用截断的默认方向。应为'right'或'left'。

`call`

<来源>

( text: Union = None text_pair: Union = None text_target: Union = None text_pair_target: Union = None add_special_tokens: bool = True padding: Union = False truncation: Union = None max_length: Optional = None stride: int = 0 is_split_into_words: bool = False pad_to_multiple_of: Optional = None return_tensors: Union = None return_token_type_ids: Optional = None return_attention_mask: Optional = None return_overflowing_tokens: bool = False return_special_tokens_mask: bool = False return_offsets_mapping: bool = False return_length: bool = False verbose: bool = True **kwargs ) → export const metadata = 'undefined';BatchEncoding

参数

text (str, List[str], List[List[str]], optional) — 要编码的序列或批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果提供的序列是字符串列表（预分词），必须设置is_split_into_words=True（以消除与批次序列的歧义）。
text_pair (str, List[str], List[List[str]], optional) — 要编码的序列或批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果提供的序列是字符串列表（预分词），必须设置is_split_into_words=True（以消除与批次序列的歧义）。
text_target (str, List[str], List[List[str]], optional) — 要编码为目标文本的序列或批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果提供的序列是字符串列表（预分词），必须设置is_split_into_words=True（以消除与批次序列的歧义）。
text_pair_target (str, List[str], List[List[str]], optional) — 要编码为目标文本的序列或批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果提供的序列是字符串列表（预分词），必须设置is_split_into_words=True（以消除与批次序列的歧义）。
add_special_tokens（bool，可选，默认为 True） — 在编码序列时是否添加特殊标记。这将使用底层的 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了自动添加到输入 id 的标记。如果要自动添加 bos 或 eos 标记，则这很有用。
padding（bool，str 或 PaddingStrategy，可选，默认为 False） — 激活和控制填充。接受以下值：

True 或 'longest'：填充到批次中最长的序列（如果只提供单个序列，则不进行填充）。
'max_length'：填充到指定的最大长度，可以通过参数 max_length 指定，或者如果未提供该参数，则填充到模型可接受的最大输入长度。
False 或 'do_not_pad'（默认）：不进行填充（即，可以输出长度不同的序列批次）。

truncation（bool，str 或 TruncationStrategy，可选，默认为 False） — 激活和控制截断。接受以下值：

True 或 'longest_first'：截断到指定的最大长度，可以通过参数 max_length 指定，或者如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），则将逐个标记截断，从序列对中最长的序列中删除一个标记。
'only_first'：截断到指定的最大长度，可以通过参数 max_length 指定，或者如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），则只会截断第一个序列。
'only_second'：截断到指定的最大长度，可以通过参数 max_length 指定，或者如果未提供该参数，则截断到模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），则只会截断第二个序列。
False 或 'do_not_truncate'（默认）：不截断（即，可以输出长度大于模型最大可接受输入大小的序列批次）。

max_length（int，可选） — 由截断/填充参数之一使用的最大长度。
如果未设置或设置为 None，则将使用预定义的模型最大长度（如果截断/填充参数需要最大长度）。如果模型没有特定的最大输入长度（如 XLNet），则将禁用截断/填充到最大长度。
stride（int，可选，默认为 0） — 如果与 max_length 一起设置为一个数字，则当 return_overflowing_tokens=True 时返回的溢出标记将包含截断序列末尾的一些标记，以提供截断和溢出序列之间的一些重叠。该参数的值定义了重叠标记的数量。
is_split_into_words（bool，可选，默认为 False） — 输入是否已经预先分词（例如，已经分成单词）。如果设置为 True，分词器会假定输入已经分成单词（例如，通过空格分割），然后进行分词。这对于命名实体识别或标记分类很有用。
pad_to_multiple_of（int，可选） — 如果设置，将填充序列到提供的值的倍数。需要激活 padding。这对于在具有计算能力 >= 7.5（Volta）的 NVIDIA 硬件上启用 Tensor Cores 特别有用。
return_tensors（str 或 TensorType，可选） — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：

'tf'：返回 TensorFlow tf.constant 对象。
'pt'：返回 PyTorch torch.Tensor对象。
'np'：返回 Numpy np.ndarray对象。

return_token_type_ids（bool，可选）— 是否返回 token 类型 ID。如果保持默认设置，将根据特定分词器的默认值返回 token 类型 ID，由return_outputs属性定义。
什么是 token 类型 ID？
return_attention_mask（bool，可选）— 是否返回注意力掩码。如果保持默认设置，将根据特定分词器的默认值返回注意力掩码，由return_outputs属性定义。
什么是注意力掩码？
return_overflowing_tokens（bool，可选，默认为False）— 是否返回溢出的标记序列。如果提供一对输入 id 序列（或一批对）并且truncation_strategy = longest_first或True，则会引发错误，而不是返回溢出的标记。
return_special_tokens_mask（bool，可选，默认为False）— 是否返回特殊标记掩码信息。
return_offsets_mapping（bool，可选，默认为False）— 是否返回每个标记的(char_start, char_end)。
仅适用于继承自 PreTrainedTokenizerFast 的快速分词器，如果使用 Python 的分词器，此方法将引发NotImplementedError。
return_length（bool，可选，默认为False）— 是否返回编码输入的长度。
verbose（bool，可选，默认为True）— 是否打印更多信息和警告。**kwargs — 传递给self.tokenize()方法

BatchEncoding

一个具有以下字段的 BatchEncoding：

input_ids — 要提供给模型的 token id 列表。
什么是输入 ID？
token_type_ids — 要提供给模型的 token 类型 id 列表（当return_token_type_ids=True或*token_type_ids*在self.model_input_names中时）。
什么是 token 类型 ID？
attention_mask — 指定哪些标记应由模型关注的索引列表（当return_attention_mask=True或*attention_mask*在self.model_input_names中时）。
什么是注意力掩码？
overflowing_tokens — 溢出标记序列的列表（当指定max_length并且return_overflowing_tokens=True时）。
num_truncated_tokens — 截断的标记数（当指定max_length并且return_overflowing_tokens=True时）。
special_tokens_mask — 由 0 和 1 组成的列表，其中 1 指定添加的特殊标记，0 指定常规序列标记（当add_special_tokens=True和return_special_tokens_mask=True时）。
length — 输入的长度（当return_length=True时）

用于对一个或多个序列或一个或多个序列对进行分词和准备模型的主要方法。

`add_tokens`

<来源>

( new_tokens: Union special_tokens: bool = False ) → export const metadata = 'undefined';int

参数

new_tokens（str，tokenizers.AddedToken或str列表或tokenizers.AddedToken）— 仅当它们尚未在词汇表中时才添加标记。tokenizers.AddedToken包装一个字符串标记，让您个性化其行为：此标记是否仅匹配单个单词，此标记是否应剥离左侧的所有潜在空格，此标记是否应剥离右侧的所有潜在空格等。
special_tokens（bool，可选，默认为False）- 可用于指定标记是否为特殊标记。这主要会改变标准化行为（例如，特殊标记如 CLS 或[MASK]通常不会被小写）。
在 HuggingFace 分词器库中查看tokenizers.AddedToken的详细信息。

int

添加到词汇表中的标记数量。

向分词器类添加一组新标记。如果新标记不在词汇表中，则它们将被添加到词汇表中，索引从当前词汇表的长度开始，并且在应用分词算法之前将被隔离。因此，添加的标记和分词算法的词汇表中的标记不会以相同的方式处理。

请注意，当向词汇表添加新标记时，您应该确保还调整模型的标记嵌入矩阵，使其嵌入矩阵与分词器匹配。

为了实现这一点，请使用 resize_token_embeddings()方法。

示例：

# Let's see how to increase the vocabulary of Bert model and tokenizer
tokenizer = BertTokenizerFast.from_pretrained("bert-base-uncased")
model = BertModel.from_pretrained("bert-base-uncased")
num_added_toks = tokenizer.add_tokens(["new_tok1", "my_new-tok2"])
print("We have added", num_added_toks, "tokens")
# Notice: resize_token_embeddings expect to receive the full size of the new vocabulary, i.e., the length of the tokenizer.
model.resize_token_embeddings(len(tokenizer))

`add_special_tokens`

<来源>

( special_tokens_dict: Dict replace_additional_special_tokens = True ) → export const metadata = 'undefined';int

参数

special_tokens_dict（字典str到str或tokenizers.AddedToken）- 键应该在预定义特殊属性列表中：[bos_token、eos_token、unk_token、sep_token、pad_token、cls_token、mask_token、additional_special_tokens]。
只有当标记尚未在词汇表中时才会添加标记（通过检查分词器是否将unk_token的索引分配给它们进行测试）。
replace_additional_special_tokens（bool，可选，默认为True）- 如果为True，则现有的额外特殊标记列表将被替换为special_tokens_dict中提供的列表。否则，self._additional_special_tokens将只是扩展。在前一种情况下，这些标记不会从分词器的完整词汇表中删除-它们只被标记为非特殊标记。请记住，这只影响解码时跳过哪些标记，而不是added_tokens_encoder和added_tokens_decoder。这意味着以前的additional_special_tokens仍然是添加的标记，并且不会被模型拆分。

int

添加到词汇表中的标记数量。

向编码器添加特殊标记字典（eos、pad、cls 等）并将它们链接到类属性。如果特殊标记不在词汇表中，则它们将被添加到词汇表中（索引从当前词汇表的最后一个索引开始）。

在向词汇表添加新标记时，您应该确保还调整模型的标记嵌入矩阵，使其嵌入矩阵与分词器匹配。

为了实现这一点，请使用 resize_token_embeddings()方法。

使用add_special_tokens将确保您的特殊标记可以以多种方式使用：

在解码时可以通过skip_special_tokens = True跳过特殊标记。
分词器会仔细处理特殊标记（它们永远不会被拆分），类似于AddedTokens。
您可以使用分词器类属性如tokenizer.cls_token轻松引用特殊标记。这样可以轻松开发与模型无关的训练和微调脚本。

在可能的情况下，特殊标记已经为提供的预训练模型注册（例如 BertTokenizer cls_token已经注册为:obj*’[CLS]’*，XLM 的一个也已经注册为''）。

示例：

# Let's see how to add a new classification token to GPT-2
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
model = GPT2Model.from_pretrained("gpt2")
special_tokens_dict = {"cls_token": "<CLS>"}
num_added_toks = tokenizer.add_special_tokens(special_tokens_dict)
print("We have added", num_added_toks, "tokens")
# Notice: resize_token_embeddings expect to receive the full size of the new vocabulary, i.e., the length of the tokenizer.
model.resize_token_embeddings(len(tokenizer))
assert tokenizer.cls_token == "<CLS>"

`apply_chat_template`

<来源>

( conversation: Union chat_template: Optional = None add_generation_prompt: bool = False tokenize: bool = True padding: bool = False truncation: bool = False max_length: Optional = None return_tensors: Union = None **tokenizer_kwargs ) → export const metadata = 'undefined';List[int]

参数

conversation（Union[List[Dict[str, str]]，“Conversation”）— 一个 Conversation 对象或具有“role”和“content”键的字典列表，表示到目前为止的聊天历史。
chat_template（str，可选）— 用于此转换的 Jinja 模板。如果未传递此参数，则将使用模型的默认聊天模板。
add_generation_prompt（bool，可选）— 是否以指示助手消息开始的标记结束提示。当您想从模型生成响应时，这很有用。请注意，此参数将传递给聊天模板，因此模板必须支持此参数才能产生任何效果。
tokenize（bool，默认为True）— 是否对输出进行标记化。如果为False，输出将是一个字符串。
padding（bool，默认为False）— 是否将序列填充到最大长度。如果 tokenize 为False，则不起作用。
truncation（bool，默认为False）— 是否在最大长度处截断序列。如果 tokenize 为False，则不起作用。
max_length（int，可选）— 用于填充或截断的最大长度（以标记为单位）。如果 tokenize 为False，则不起作用。如果未指定，将使用分词器的max_length属性作为默认值。
return_tensors（str或 TensorType，可选）— 如果设置，将返回特定框架的张量。如果 tokenize 为False，则不起作用。可接受的值为：

'tf'：返回 TensorFlow tf.Tensor对象。
'pt'：返回 PyTorch torch.Tensor对象。
'np'：返回 NumPy np.ndarray对象。
'jax'：返回 JAX jnp.ndarray对象。**tokenizer_kwargs — 要传递给分词器的其他 kwargs。

List[int]

表示到目前为止的标记化聊天的标记 id 列表，包括控制标记。此输出已准备好传递给模型，可以直接传递或通过generate()等方法传递。

将 Conversation 对象或带有"role"和"content"键的字典列表转换为标记 id 列表。此方法旨在与聊天模型一起使用，并将读取分词器的 chat_template 属性以确定在转换时要使用的格式和控制标记。当 chat_template 为 None 时，将退回到类级别指定的 default_chat_template。

`batch_decode`

<来源>

( sequences: Union skip_special_tokens: bool = False clean_up_tokenization_spaces: bool = None **kwargs ) → export const metadata = 'undefined';List[str]

参数

sequences（Union[List[int]，List[List[int]]，np.ndarray，torch.Tensor，tf.Tensor]）— 标记化输入 id 的列表。可以使用__call__方法获得。
skip_special_tokens（bool，可选，默认为False）— 是否在解码中删除特殊标记。
clean_up_tokenization_spaces（bool，可选）— 是否清理标记化空格。如果为None，将默认为self.clean_up_tokenization_spaces。
kwargs（其他关键字参数，可选）— 将传递给底层模型特定的解码方法。

List[str]

解码后的句子列表。

通过调用解码将标记 id 的列表列表转换为字符串列表。

`decode`

<来源>

( token_ids: Union skip_special_tokens: bool = False clean_up_tokenization_spaces: bool = None **kwargs ) → export const metadata = 'undefined';str

参数

token_ids（Union[int，List[int]，np.ndarray，torch.Tensor，tf.Tensor]）— 标记化输入 id 的列表。可以使用__call__方法获得。
skip_special_tokens（bool，可选，默认为False）— 是否在解码中删除特殊标记。
clean_up_tokenization_spaces（bool，可选）— 是否清理标记化空格。如果为None，将默认为self.clean_up_tokenization_spaces。
kwargs（其他关键字参数，可选）— 将传递给底层模型特定的解码方法。

str

解码后的句子。

使用标记器和词汇表将 id 序列转换为字符串，具有删除特殊标记和清理标记化空格的选项。

类似于执行 self.convert_tokens_to_string(self.convert_ids_to_tokens(token_ids))。

`encode`

<来源>

( text: Union text_pair: Union = None add_special_tokens: bool = True padding: Union = False truncation: Union = None max_length: Optional = None stride: int = 0 return_tensors: Union = None **kwargs ) → export const metadata = 'undefined';List[int], torch.Tensor, tf.Tensor or np.ndarray

参数

text（str，List[str] 或 List[int]）— 要编码的第一个序列。可以是字符串，字符串列表（使用 tokenize 方法进行标记化的字符串）或整数列表（使用 convert_tokens_to_ids 方法进行标记化的字符串 id）。
text_pair（str，List[str] 或 List[int]，可选）— 要编码的可选第二个序列。可以是字符串，字符串列表（使用 tokenize 方法进行标记化的字符串）或整数列表（使用 convert_tokens_to_ids 方法进行标记化的字符串 id）。
add_special_tokens（bool，可选，默认为 True）— 在编码序列时是否添加特殊标记。这将使用底层的 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了自动添加到输入 id 的标记。如果要自动添加 bos 或 eos 标记，则这很有用。
padding（bool，str 或 PaddingStrategy，可选，默认为 False）— 激活和控制填充。接受以下值：

True 或 'longest'：填充到批次中最长的序列（如果只提供单个序列，则不进行填充）。
'max_length'：填充到指定的最大长度，使用参数 max_length，或者使用模型的最大可接受输入长度（如果未提供该参数）。
False 或 'do_not_pad'（默认）：不进行填充（即，可以输出长度不同的序列批次）。

truncation（bool，str 或 TruncationStrategy，可选，默认为 False）— 激活和控制截断。接受以下值：

True 或 'longest_first'：截断到指定的最大长度，使用参数 max_length，或者使用模型的最大可接受输入长度（如果未提供该参数）。如果提供了一对序列（或一批对序列），则会逐标记截断，从一对序列中最长的序列中移除一个标记。
'only_first'：截断到指定的最大长度，使用参数 max_length，或者使用模型的最大可接受输入长度（如果未提供该参数）。如果提供了一对序列（或一批对序列），则只会截断第一个序列。
'only_second'：截断到指定的最大长度，使用参数 max_length，或者使用模型的最大可接受输入长度（如果未提供该参数）。如果提供了一对序列（或一批对序列），则只会截断第二个序列。
False 或 'do_not_truncate'（默认）：不进行截断（即，可以输出长度大于模型最大可接受输入大小的序列批次）。

max_length（int，可选）— 控制截断/填充参数之一使用的最大长度。
如果未设置或设置为 None，则如果截断/填充参数之一需要最大长度，则将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则将禁用截断/填充到最大长度。
stride（int，可选，默认为 0）— 如果设置为数字，并且max_length一起设置，当return_overflowing_tokens=True时返回的溢出标记将包含截断序列末尾的一些标记，以提供截断和溢出序列之间的一些重叠。此参数的值定义重叠标记的数量。
is_split_into_words（bool，可选，默认为False）— 输入是否已经预分词（例如，已经分成单词）。如果设置为True，则分词器会假定输入已经分成单词（例如，通过在空格上分割），然后对其进行分词。这对于 NER 或标记分类很有用。
pad_to_multiple_of（int，可选）— 如果设置，将填充序列到提供的值的倍数。需要激活padding。这对于启用具有计算能力>= 7.5（Volta）的 NVIDIA 硬件上的 Tensor Cores 特别有用。
return_tensors（str或 TensorType，可选）— 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：

'tf'：返回 TensorFlow tf.constant对象。
'pt'：返回 PyTorch torch.Tensor对象。
'np'：返回 Numpy np.ndarray对象。

**kwargs — 传递给.tokenize()方法。

List[int]，torch.Tensor，tf.Tensor或np.ndarray

文本的标记化 id。

使用分词器和词汇表将字符串转换为 id（整数）序列。

与执行self.convert_tokens_to_ids(self.tokenize(text))相同。

`push_to_hub`

<来源>

( repo_id: str use_temp_dir: Optional = None commit_message: Optional = None private: Optional = None token: Union = None max_shard_size: Union = '5GB' create_pr: bool = False safe_serialization: bool = True revision: str = None commit_description: str = None tags: Optional = None **deprecated_kwargs )

参数

repo_id（str）— 您要将分词器推送到的存储库名称。在推送到给定组织时，应包含您的组织名称。
use_temp_dir（bool，可选）— 是否使用临时目录存储在推送到 Hub 之前保存的文件。如果没有名为repo_id的目录，则默认为True，否则为False。
commit_message（str，可选）— 推送时要提交的消息。默认为"Upload tokenizer"。
private（bool，可选）— 创建的存储库是否应为私有。
token（bool或str，可选）— 用作远程文件的 HTTP 令牌。如果为True，将使用运行huggingface-cli login时生成的令牌（存储在~/.huggingface中）。如果未指定repo_url，则默认为True。
max_shard_size（int或str，可选，默认为"5GB"）— 仅适用于模型。在分片之前的检查点的最大大小。然后，检查点分片将每个大小低于此大小。如果表示为字符串，需要是数字后跟一个单位（如"5MB"）。我们将其默认设置为"5GB"，以便用户可以在免费的 Google Colab 实例上轻松加载模型，而不会出现任何 CPU OOM 问题。
create_pr（bool，可选，默认为False）— 是否创建具有上传文件的 PR 或直接提交。
safe_serialization（bool，可选，默认为True）— 是否将模型权重转换为 safetensors 格式以进行更安全的序列化。
revision（str，可选）— 要将上传的文件推送到的分支。
commit_description（str，可选）— 将要创建的提交的描述
tags（List[str]，可选）— 要推送到 Hub 上的标签列表。

将分词器文件上传到🤗模型 Hub。

示例：

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
# Push the tokenizer to your namespace with the name "my-finetuned-bert".
tokenizer.push_to_hub("my-finetuned-bert")
# Push the tokenizer to an organization with the name "my-finetuned-bert".
tokenizer.push_to_hub("huggingface/my-finetuned-bert")

`convert_ids_to_tokens`

<来源>

( ids: Union skip_special_tokens: bool = False ) → export const metadata = 'undefined';str or List[str]

参数

ids（int或List[int]）— 要转换为标记的标记 id（或标记 id）。
skip_special_tokens（bool，可选，默认为False）— 是否在解码中删除特殊标记。

str 或 List[str]

解码后的标记。

使用词汇表和添加的标记将单个索引或索引序列转换为标记或标记序列。

`convert_tokens_to_ids`

< source >

( tokens: Union ) → export const metadata = 'undefined';int or List[int]

参数

tokens (str 或 List[str]) — 要转换为标记 ID 的一个或多个标记。

int 或 List[int]

标记 ID 或标记 ID 列表。

将标记字符串（或标记序列）转换为单个整数 ID（或 ID 序列），使用词汇表。

`get_added_vocab`

< source >

( ) → export const metadata = 'undefined';Dict[str, int]

Dict[str, int]

添加的标记。

将词汇表中的添加标记作为标记到索引的字典返回。结果可能与快速调用不同，因为现在我们总是添加标记，即使它们已经在词汇表中。这是我们应该更改的事情。

`num_special_tokens_to_add`

< source >

( pair: bool = False ) → export const metadata = 'undefined';int

参数

pair (bool, 可选, 默认为 False) — 在序列对或单个序列的情况下是否应计算添加的标记数。

int

添加到序列中的特殊标记数。

返回使用特殊标记编码序列时添加的标记数。

这会对一个虚拟输入进行编码并检查添加的标记数量，因此效率不高。不要将此放在训练循环内。

Transformers 4.37 中文文档（十八）（4）https://developer.aliyun.com/article/1564910

Transformers 4.37 中文文档（十八）（3）

PreTrainedTokenizer

`class transformers.PreTrainedTokenizer`

`call`

`add_tokens`

`add_special_tokens`

`apply_chat_template`

`batch_decode`

`decode`

`encode`

`push_to_hub`

`convert_ids_to_tokens`

`convert_tokens_to_ids`

`get_added_vocab`

`num_special_tokens_to_add`

热门文章

最新文章

相关电子书

探索云世界

热门

云计算

大数据

云原生

人工智能

数据库

开发与运维

活动广场

任务中心

训练营

直播

乘风者计划

下载

镜像站

技术资料

Transformers 4.37 中文文档（十八）（3）

PreTrainedTokenizer

class transformers.PreTrainedTokenizer

__call__

add_tokens

add_special_tokens

apply_chat_template

batch_decode

decode

encode

push_to_hub

convert_ids_to_tokens

convert_tokens_to_ids

get_added_vocab

num_special_tokens_to_add

热门文章

最新文章

相关电子书

`class transformers.PreTrainedTokenizer`

`call`

`add_tokens`

`add_special_tokens`

`apply_chat_template`

`batch_decode`

`decode`

`encode`

`push_to_hub`

`convert_ids_to_tokens`

`convert_tokens_to_ids`

`get_added_vocab`

`num_special_tokens_to_add`