Transformers 4.37 中文文档（六十三）（2）

Transformers 4.37 中文文档（六十三）（1）https://developer.aliyun.com/article/1564116

XLMRobertaXLForTokenClassification

class transformers.XLMRobertaXLForTokenClassification

<来源>

( config )

参数

• config（XLMRobertaXLConfig）— 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

XLM-RoBERTa-XL 模型在顶部具有一个令牌分类头（隐藏状态输出的线性层），例如用于命名实体识别（NER）任务。

此模型继承自 PreTrainedModel。查看超类文档以了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入、修剪头等）。此模型还是一个 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

前向

<来源>

( input_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.TokenClassifierOutput or tuple(torch.FloatTensor)

参数

• input_ids（形状为(batch_size, sequence_length)的torch.LongTensor）— 词汇表中输入序列令牌的索引。可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。输入 ID 是什么？
  
• attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）— 用于避免在填充令牌索引上执行注意力的掩码。掩码值选择在[0, 1]之间：

• 1 表示未被屏蔽的令牌，
  
• 0 表示被屏蔽的令牌。注意力掩码是什么？
  

• token_type_ids（形状为(batch_size, sequence_length)的torch.LongTensor，可选）— 指示输入的第一部分和第二部分的段标记索引。索引选择在[0, 1]之间：

• 0 对应于句子 A令牌，
  
• 1 对应于句子 B令牌。令牌类型 ID 是什么？
  

• position_ids（形状为(batch_size, sequence_length)的torch.LongTensor，可选）— 每个输入序列令牌在位置嵌入中的位置索引。选择范围为[0, config.max_position_embeddings - 1]。位置 ID 是什么？
  
• head_mask（形状为(num_heads,)或(num_layers, num_heads)的torch.FloatTensor，可选）— 用于使自注意力模块中选择的头部失效的掩码。掩码值选择在[0, 1]之间：

• 1 表示头部未被屏蔽。
  
• 0 表示头部被屏蔽。
  

• inputs_embeds（形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可选）— 可选地，可以直接传递嵌入表示，而不是传递input_ids。如果您想要更多控制如何将input_ids索引转换为相关向量，而不是使用模型的内部嵌入查找矩阵，则这很有用。
  
• output_attentions（bool，可选）— 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。
  
• output_hidden_states（bool，可选）— 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。
  
• return_dict (bool，可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。
  
• 标签 (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于计算标记分类损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。
  

返回

transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)

transformers.modeling_outputs.TokenClassifierOutput 或一个 torch.FloatTensor 元组（如果传递 return_dict=False 或 config.return_dict=False 时）包含根据配置（XLMRobertaXLConfig）和输入的各种元素。

• loss (torch.FloatTensor，形状为 (1,)，可选，当提供 labels 时返回) — 分类损失。
  
• logits (torch.FloatTensor，形状为 (batch_size, sequence_length, config.num_labels)) — 分类分数（SoftMax 之前）。
  
• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组。
  模型在每一层输出的隐藏状态加上可选的初始嵌入输出。
  
• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每层一个）。
  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
  

XLMRobertaXLForTokenClassification 的前向方法，覆盖了 __call__ 特殊方法。

虽然前向传递的配方需要在此函数内定义，但应该在此之后调用 Module 实例，而不是这个，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。

示例：

>>> from transformers import AutoTokenizer, XLMRobertaXLForTokenClassification
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/xlm-roberta-xl")
>>> model = XLMRobertaXLForTokenClassification.from_pretrained("facebook/xlm-roberta-xl")
>>> inputs = tokenizer(
...     "HuggingFace is a company based in Paris and New York", add_special_tokens=False, return_tensors="pt"
... )
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> predicted_token_class_ids = logits.argmax(-1)
>>> # Note that tokens are classified rather then input words which means that
>>> # there might be more predicted token classes than words.
>>> # Multiple token classes might account for the same word
>>> predicted_tokens_classes = [model.config.id2label[t.item()] for t in predicted_token_class_ids[0]]
>>> labels = predicted_token_class_ids
>>> loss = model(**inputs, labels=labels).loss

XLMRobertaXLForQuestionAnswering

class transformers.XLMRobertaXLForQuestionAnswering

< source >

( config )

参数

• config (XLMRobertaXLConfig) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只加载配置。查看 from_pretrained() 方法以加载模型权重。

XLM-RoBERTa-XL 模型，顶部带有一个用于提取式问答任务（如 SQuAD）的跨度分类头（在隐藏状态输出的线性层上计算 span start logits 和 span end logits）。

该模型继承自 PreTrainedModel。请查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入、修剪头等）。该模型还是一个 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

forward

<来源>

( input_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None start_positions: Optional = None end_positions: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.QuestionAnsweringModelOutput or tuple(torch.FloatTensor)

参数

• input_ids（形状为(batch_size, sequence_length)的torch.LongTensor）— 词汇表中输入序列标记的索引。可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。什么是输入 ID？
  
• attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）— 用于避免在填充标记索引上执行注意力的掩码。选择的掩码值在[0, 1]范围内：

• 1 表示未被遮罩的标记，
  
• 0 表示被遮罩的标记。什么是注意力掩码？
  

• token_type_ids（形状为(batch_size, sequence_length)的torch.LongTensor，可选）— 段标记索引，指示输入的第一部分和第二部分。索引在[0, 1]范围内选择：

• 0 对应于句子 A标记，
  
• 1 对应于句子 B标记。什么是标记类型 ID？
  

• position_ids（形状为(batch_size, sequence_length)的torch.LongTensor，可选）— 每个输入序列标记在位置嵌入中的位置索引。在范围[0, config.max_position_embeddings - 1]中选择。什么是位置 ID？
  
• head_mask（形状为(num_heads,)或(num_layers, num_heads)的torch.FloatTensor，可选）— 用于使自注意力模块的选定头部失效的掩码。选择的掩码值在[0, 1]范围内：

• 1 表示头部未被遮罩，
  
• 0 表示头部被遮罩。
  

• inputs_embeds（形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可选）— 可选地，您可以选择直接传递嵌入表示，而不是传递input_ids。如果您想要更多控制权来将input_ids索引转换为相关向量，而不是使用模型的内部嵌入查找矩阵，这将非常有用。
  
• output_attentions（bool，可选）— 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。
  
• output_hidden_states（bool，可选）— 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。
  
• return_dict（bool，可选）— 是否返回一个 ModelOutput 而不是一个普通元组。
  
• start_positions（形状为(batch_size,)的torch.LongTensor，可选）— 用于计算标记分类损失的标记跨度起始位置（索引）的标签。位置被夹紧到序列的长度（sequence_length）。序列外的位置不会被考虑在内，用于计算损失。
  
• end_positions（形状为(batch_size,)的torch.LongTensor，可选）- 用于计算标记跨度结束位置（索引）的标签，以计算标记分类损失。位置被夹紧到序列的长度（sequence_length）。序列外的位置不会被考虑在内以计算损失。
  

返回

transformers.modeling_outputs.QuestionAnsweringModelOutput 或 tuple(torch.FloatTensor)

transformers.modeling_outputs.QuestionAnsweringModelOutput 或一个torch.FloatTensor元组（如果传递了return_dict=False或config.return_dict=False时）包含各种元素，取决于配置（XLMRobertaXLConfig）和输入。

• loss（形状为(1,)的torch.FloatTensor，可选，当提供labels时返回）- 总跨度提取损失是起始和结束位置的交叉熵之和。
  
• start_logits（形状为(batch_size, sequence_length)的torch.FloatTensor）- 跨度起始得分（SoftMax 之前）。
  
• end_logits（形状为(batch_size, sequence_length)的torch.FloatTensor）- 跨度结束得分（SoftMax 之前）。
  
• hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）- 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（如果模型有嵌入层，则为嵌入的输出+每个层的输出）。
  模型在每一层输出的隐藏状态加上可选的初始嵌入输出。
  
• attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）- 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  注意力权重在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  

XLMRobertaXLForQuestionAnswering 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的步骤需要在此函数内定义，但应该在此之后调用Module实例，而不是在此处调用，因为前者会负责运行预处理和后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoTokenizer, XLMRobertaXLForQuestionAnswering
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/xlm-roberta-xl")
>>> model = XLMRobertaXLForQuestionAnswering.from_pretrained("facebook/xlm-roberta-xl")
>>> question, text = "Who was Jim Henson?", "Jim Henson was a nice puppet"
>>> inputs = tokenizer(question, text, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> answer_start_index = outputs.start_logits.argmax()
>>> answer_end_index = outputs.end_logits.argmax()
>>> predict_answer_tokens = inputs.input_ids[0, answer_start_index : answer_end_index + 1]
>>> # target is "nice puppet"
>>> target_start_index = torch.tensor([14])
>>> target_end_index = torch.tensor([15])
>>> outputs = model(**inputs, start_positions=target_start_index, end_positions=target_end_index)
>>> loss = outputs.loss

XLM-V

原始文本：huggingface.co/docs/transformers/v4.37.2/en/model_doc/xlm-v

概述

XLM-V 是一个多语言语言模型，具有一个由 Common Crawl 的 2.5TB 数据训练的一百万标记词汇（与 XLM-R  相同）。它在 Davis Liang、Hila Gonen、Yuning Mao、Rui Hou、Naman Goyal、Marjan  Ghazvininejad、Luke Zettlemoyer 和 Madian Khabsa 的论文XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models中介绍。

从 XLM-V 论文的摘要中：

大型多语言语言模型通常依赖于跨 100  多种语言共享的单一词汇表。随着这些模型的参数数量和深度增加，词汇表大小基本保持不变。这种词汇瓶颈限制了诸如 XLM-R  之类的多语言模型的表征能力。在本文中，我们介绍了一种通过减少语言之间的标记共享并分配词汇容量来实现对非常大型多语言词汇的扩展的新方法，以实现对每种单独语言的足够覆盖。使用我们的词汇表进行标记化通常比  XLM-R 更具语义意义且更短。利用这个改进的词汇表，我们训练了 XLM-V，一个具有一百万标记词汇的多语言语言模型。XLM-V  在我们测试的每个任务上都优于  XLM-R，包括自然语言推理（XNLI）、问答（MLQA、XQuAD、TyDiQA）和命名实体识别（WikiAnn）等低资源任务（Americas  NLI、MasakhaNER）。

该模型由stefan-it贡献，包括对 XLM-V 在下游任务上的详细实验。实验存储库可以在这里找到。

使用提示

• XLM-V 与 XLM-RoBERTa 模型架构兼容，只需将模型权重从fairseq库转换即可。
  
• XLMTokenizer实现用于加载词汇表并执行标记化。
  

XLM-V（基础大小）模型可在facebook/xlm-v-base标识符下找到。

XLM-V 架构与 XLM-RoBERTa 相同，请参考 XLM-RoBERTa 文档以获取 API 参考和示例。

XLNet

原始文本：huggingface.co/docs/transformers/v4.37.2/en/model_doc/xlnet

概述

XLNet 模型是由 Zhilin Yang、Zihang Dai、Yiming Yang、Jaime Carbonell、Ruslan  Salakhutdinov、Quoc V. Le 提出的，其论文名为《XLNet: Generalized Autoregressive  Pretraining for Language  Understanding》(https://arxiv.org/abs/1906.08237)。XLNet 是 Transformer-XL  模型的扩展，使用自回归方法进行预训练，通过最大化输入序列分解顺序的所有排列的期望似然来学习双向上下文。

论文摘要如下：

具有建模双向上下文的能力，基于去噪自编码的 BERT 比基于自回归语言建模的预训练方法表现更好。然而，BERT  依赖于用掩码损坏输入，忽略了掩码位置之间的依赖关系，并且存在预训练和微调之间的差异。鉴于这些优缺点，我们提出了  XLNet，一种广义的自回归预训练方法，它(1)通过最大化分解顺序的所有排列的期望似然来实现学习双向上下文，(2)通过其自回归公式克服了  BERT 的局限性。此外，XLNet 将 Transformer-XL 的思想整合到预训练中。在可比的实验设置下，XLNet 在 20  个任务中表现优于 BERT，通常差距很大，包括问答、自然语言推理、情感分析和文档排名。

该模型由thomwolf贡献。原始代码可以在这里找到。

使用提示

• 特定的注意力模式可以通过perm_mask输入在训练和测试时进行控制。
  
• 由于在各种分解顺序上训练完全自回归模型的困难，XLNet 仅使用一部分输出令牌作为目标进行预训练，这些令牌是使用target_mapping输入选择的。
  
• 要将 XLNet 用于顺序解码(即不在完全双向设置中)，请使用perm_mask和target_mapping输入来控制注意力范围和输出(请参见examples/pytorch/text-generation/run_generation.py中的示例)
  
• XLNet 是少数没有序列长度限制的模型之一。
  
• XLNet  不是传统的自回归模型，而是使用建立在其基础上的训练策略。它对句子中的令牌进行排列，然后允许模型使用最后 n 个令牌来预测第 n+1  个令牌。由于这一切都是通过掩码完成的，因此实际上是以正确顺序将句子输入模型，但是 XLNet 使用一个掩码，隐藏了给定排列中  1,…，序列长度之间的先前令牌，而不是为 n+1 掩码前 n 个令牌。
  
• XLNet 还使用与 Transformer-XL 相同的循环机制来构建长期依赖关系。
  

资源

• 文本分类任务指南
  
• 标记分类任务指南
  
• 问答任务指南
  
• 因果语言建模任务指南
  
• 多项选择任务指南
  

XLNetConfig

class transformers.XLNetConfig

<来源>

( vocab_size = 32000 d_model = 1024 n_layer = 24 n_head = 16 d_inner = 4096 ff_activation = 'gelu' untie_r = True attn_type = 'bi' initializer_range = 0.02 layer_norm_eps = 1e-12 dropout = 0.1 mem_len = 512 reuse_len = None use_mems_eval = True use_mems_train = False bi_data = False clamp_len = -1 same_length = False summary_type = 'last' summary_use_proj = True summary_activation = 'tanh' summary_last_dropout = 0.1 start_n_top = 5 end_n_top = 5 pad_token_id = 5 bos_token_id = 1 eos_token_id = 2 **kwargs )

参数

• vocab_size (int, optional, defaults to 32000) — XLNet 模型的词汇量。定义了在调用 XLNetModel 或 TFXLNetModel 时可以表示的不同标记数量。
  
• d_model (int, optional, defaults to 1024) — 编码器层和池化层的维度。
  
• n_layer (int, optional, defaults to 24) — Transformer 编码器中的隐藏层数。
  
• n_head (int, optional, defaults to 16) — Transformer 编码器中每个注意力层的注意力头数。
  
• d_inner (int, optional, defaults to 4096) — Transformer 编码器中“中间”（通常称为前馈）层的维度。
  
• ff_activation (str or Callable, optional, defaults to "gelu") — 在 Transformer 编码器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"silu"和"gelu_new"。
  
• untie_r (bool, optional, defaults to True) — 是否解开相对位置偏差
  
• attn_type (str, optional, defaults to "bi") — 模型使用的注意力类型。为 XLNet 设置"bi"，为 Transformer-XL 设置"uni"。
  
• initializer_range (float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
  
• layer_norm_eps (float, optional, defaults to 1e-12) — 层归一化层使用的 epsilon。
  
• dropout (float, optional, defaults to 0.1) — 嵌入层、编码器和池化器中所有全连接层的丢失概率。
  
• mem_len (int or None, optional) — 要缓存的标记数。已经在先前的前向传递中预先计算的键/值对不会重新计算。有关更多信息，请参阅快速入门。
  
• reuse_len (int, optional) — 当前批次中要缓存和将来重复使用的标记数。
  
• bi_data (bool, optional, defaults to False) — 是否使用双向输入管道。通常在预训练期间设置为True，在微调期间设置为False。
  
• clamp_len (int, optional, defaults to -1) — 将大于 clamp_len 的所有相对距离限制。将此属性设置为-1 表示不限制。
  
• same_length (bool, optional, defaults to False) — 是否对每个标记使用相同的注意力长度。
  
• summary_type (str, optional, defaults to “last”) — 在进行序列摘要时使用的参数。用于序列分类和多选模型。必须是以下选项之一：

• "last": 取最后一个标记的隐藏状态（类似于 XLNet）。
  
• "first": 取第一个标记的隐藏状态（类似于 BERT）。
  
• "mean": 取所有标记隐藏状态的平均值。
  
• "cls_index": 提供分类标记位置的张量（类似于 GPT/GPT-2）。
  
• "attn": 目前未实现，使用多头注意力。
  

• summary_use_proj (bool, optional, defaults to True) — 在进行序列摘要时使用的参数。用于序列分类和多选模型。
  是否在向量提取后添加投影。
  
• summary_activation (str, optional) — 在进行序列摘要时使用的参数。用于序列分类和多选模型。
  将输出传递给 tanh 激活以获得 tanh 激活，其他任何值都将导致无激活。
  
• summary_proj_to_labels (boo, optional, defaults to True) — 用于序列分类和多选模型。
  投影输出应具有config.num_labels或config.hidden_size类。
  
• summary_last_dropout (float, optional, defaults to 0.1) — 用于序列分类和多选模型。
  在投影和激活之后要使用的丢失比率。
  
• start_n_top (int, optional, defaults to 5) — 在 SQuAD 评估脚本中使用。
  
• end_n_top (int, optional, defaults to 5) — 在 SQuAD 评估脚本中使用。
  
• use_mems_eval (bool, optional, defaults to True) — 模型在评估模式下是否应使用循环记忆机制。
  
• use_mems_train (bool, optional, defaults to False) — 模型在训练模式下是否应使用循环记忆机制。
  对于预训练，建议将 use_mems_train 设置为 True。对于微调，建议将 use_mems_train 设置为 False，如此处所述。如果将 use_mems_train 设置为 True，则必须确保训练批次已正确预处理，例如 batch_1 = [[This line is], [This is the]] 和 batch_2 = [[ the first line], [ second line]]，并且所有批次大小相等。
  

这是用于存储 XLNetModel 或 TFXLNetModel 配置的类。根据指定的参数实例化 XLNet 模型，定义模型架构。使用默认值实例化配置将产生类似于 xlnet-large-cased 架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读来自 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import XLNetConfig, XLNetModel
>>> # Initializing a XLNet configuration
>>> configuration = XLNetConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = XLNetModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

XLNetTokenizer

class transformers.XLNetTokenizer

< source >

( vocab_file do_lower_case = False remove_space = True keep_accents = False bos_token = '<s>' eos_token = '</s>' unk_token = '<unk>' sep_token = '<sep>' pad_token = '<pad>' cls_token = '<cls>' mask_token = '<mask>' additional_special_tokens = ['<eop>', '<eod>'] sp_model_kwargs: Optional = None **kwargs )

参数

• vocab_file (str) — 包含实例化标记器所需词汇的 SentencePiece 文件（通常具有 .spm 扩展名）。
  
• do_lower_case (bool, optional, defaults to False) — 是否在标记化时将输入转换为小写。
  
• remove_space (bool, optional, defaults to True) — 在标记化时是否去除文本中的空格（删除字符串前后的多余空格）。
  
• keep_accents (bool, optional, defaults to False) — 在标记化时是否保留重音。
  
• bos_token (str, optional, defaults to "") — 在预训练期间使用的序列开始标记。可用作序列分类器标记。
  构建序列时，这不是用于序列开头的标记。使用的标记是 cls_token。
  
• eos_token (str, optional, defaults to "") — 序列结束标记。
  构建序列时，这不是用于序列结尾的标记。使用的标记是 sep_token。
  
• unk_token (str, optional, defaults to "") — 未知标记。词汇表中不存在的标记无法转换为 ID，而是设置为此标记。
  
• sep_token (str, optional, defaults to "") — 分隔符标记，用于从多个序列构建序列，例如用于序列分类的两个序列或用于文本和问题的问题回答。还用作使用特殊标记构建的序列的最后一个标记。
  
• pad_token (str, optional, defaults to "") — 用于填充的标记，例如在批处理不同长度的序列时使用。
  
• cls_token (str, 可选, 默认为 "") — 在进行序列分类（对整个序列进行分类而不是每个标记的分类）时使用的分类器标记。在构建带有特殊标记的序列时，它是序列的第一个标记。
  
• mask_token (str, 可选, 默认为 "") — 用于屏蔽值的标记。在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
  
• additional_special_tokens (List[str], 可选, 默认为 ['', '']) — 分词器使用的额外特殊标记。
  
• sp_model_kwargs (dict, 可选) — 将传递给SentencePieceProcessor.__init__()方法。SentencePiece 的 Python 包装器可用于设置：

• enable_sampling: 启用子词正则化。
  
• nbest_size: 单字采样参数。对于 BPE-Dropout 无效。

• nbest_size = {0,1}: 不执行采样。
  
• nbest_size > 1: 从 nbest_size 结果中进行采样。
  
• nbest_size < 0: 假设 nbest_size 为无限，并使用前向过滤和后向采样算法从所有假设（格）中进行采样。
  

• alpha: 用于单字采样的平滑参数，以及用于 BPE-dropout 合并操作的丢弃概率。
  

• sp_model (SentencePieceProcessor) — 用于每次转换（字符串、标记和 ID）的SentencePiece处理器。
  

构建一个 XLNet 分词器。基于SentencePiece。

此分词器继承自 PreTrainedTokenizer，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0 (List[int]) — 将添加特殊标记的 ID 列表。
  
• token_ids_1 (List[int], 可选) — 序列对的第二个 ID 列表（可选）。
  

返回

List[int]

带有适当特殊标记的输入 ID 列表。

通过连接和添加特殊标记从序列或序列对构建用于序列分类任务的模型输入。一个 XLNet 序列的格式如下：

• 单个序列: X  
  
• 序列对：A  B  
  

get_special_tokens_mask

<来源>

( token_ids_0: List token_ids_1: Optional = None already_has_special_tokens: bool = False ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0 (List[int]) — ID 列表。
  
• token_ids_1 (List[int], 可选) — 序列对的第二个 ID 列表（可选）。
  
• already_has_special_tokens (bool, 可选, 默认为 False) — 标记列表是否已经使用特殊标记格式化为模型。
  

返回

List[int]

一个整数列表，范围为[0, 1]：1 表示特殊标记，0 表示序列标记。

从没有添加特殊标记的标记列表中检索序列 ID。在使用分词器的prepare_for_model方法添加特殊标记时调用此方法。

create_token_type_ids_from_sequences

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0 (List[int]) — ID 列表。
  
• token_ids_1 (List[int], 可选) — 序列对的第二个 ID 列表（可选）。
  

返回

List[int]

根据给定序列的标记类型 ID 列表。

从传递的两个序列创建一个用于序列对分类任务的掩码。一个 XLNet

序列对掩码的格式如下：

0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1
| first sequence    | second sequence |

如果token_ids_1为None，则此方法仅返回掩码的第一部分（0s）。

save_vocabulary

<来源>

( save_directory: str filename_prefix: Optional = None )

XLNetTokenizerFast

class transformers.XLNetTokenizerFast

<来源>

( vocab_file = None tokenizer_file = None do_lower_case = False remove_space = True keep_accents = False bos_token = '<s>' eos_token = '</s>' unk_token = '<unk>' sep_token = '<sep>' pad_token = '<pad>' cls_token = '<cls>' mask_token = '<mask>' additional_special_tokens = ['<eop>', '<eod>'] **kwargs )

参数

• vocab_file（str）— SentencePiece 文件（通常具有.spm 扩展名），其中包含实例化标记器所需的词汇。
  
• do_lower_case（bool，可选，默认为True）— 在标记化时是否将输入转换为小写。
  
• remove_space（bool，可选，默认为True）— 在标记化时是否去除文本（删除字符串前后的多余空格）。
  
• keep_accents（bool，可选，默认为False）— 在标记化时是否保留重音。
  
• bos_token（str，可选，默认为""）— 在预训练期间使用的序列开始标记。可用作序列分类器标记。
  在使用特殊标记构建序列时，这不是用于序列开始的标记。使用的标记是cls_token。
  
• eos_token（str，可选，默认为""）— 序列结束标记。
  在使用特殊标记构建序列时，这不是用于序列结束的标记。使用的标记是sep_token。
  
• unk_token（str，可选，默认为""）— 未知标记。词汇表中不存在的标记无法转换为 ID，而是设置为此标记。
  
• sep_token（str，可选，默认为""）— 分隔符标记，在构建来自多个序列的序列时使用，例如用于序列分类的两个序列或用于问题回答的文本和问题。它还用作使用特殊标记构建的序列的最后一个标记。
  
• pad_token（str，可选，默认为""）— 用于填充的标记，例如在批处理不同长度的序列时使用。
  
• cls_token（str，可选，默认为""）— 在进行序列分类（整个序列的分类而不是每个标记的分类）时使用的分类器标记。在使用特殊标记构建时，它是序列的第一个标记。
  
• mask_token（str，可选，默认为""）— 用于屏蔽值的标记。这是在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
  
• additional_special_tokens（List[str]，可选，默认为["", ""]）— 标记器使用的其他特殊标记。
  
• sp_model（SentencePieceProcessor）— 用于每次转换（字符串、标记和 ID）的SentencePiece处理器。
  

构建“快速”XLNet 标记器（由 HuggingFace 的tokenizers库支持）。基于Unigram。

此标记器继承自 PreTrainedTokenizerFast，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0（List[int]）— 将添加特殊标记的 ID 列表。
  
• token_ids_1（List[int]，可选）— 序列对的可选第二个 ID 列表。
  

返回

List[int]

具有适当特殊标记的 input IDs 列表。

通过连接和添加特殊标记，为序列分类任务构建来自序列或序列对的模型输入。XLNet 序列的格式如下：

• 单个序列：X  
  
• 序列对：A  B  
  

create_token_type_ids_from_sequences

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0（List[int]）- ID 列表。
  
• token_ids_1（List[int]，可选）- 序列对的第二个 ID 列表（可选）。
  

返回

List[int]

根据给定的序列，列出令牌类型 ID。

从传递的两个序列创建一个用于序列对分类任务的掩码。一个 XLNet

序列对掩码的格式如下：

0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1
| first sequence    | second sequence |

如果token_ids_1为None，则此方法仅返回掩码的第一部分（0）。

XLNet 特定的输出

class transformers.models.xlnet.modeling_xlnet.XLNetModelOutput

<来源>

( last_hidden_state: FloatTensor mems: Optional = None hidden_states: Optional = None attentions: Optional = None )

参数

• last_hidden_state（形状为(batch_size, num_predict, hidden_size)的torch.FloatTensor）- 模型最后一层的隐藏状态序列。
  num_predict对应于target_mapping.shape[1]。如果target_mapping为None，则num_predict对应于sequence_length。
  
• mems（长度为config.n_layers的List[torch.FloatTensor]）- 包含预先计算的隐藏状态。可以用于加速顺序解码（参见mems输入）。将其过去传递给此模型的令牌 ID 不应作为input_ids传递，因为它们已经计算过。
  
• hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）- 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个层的输出）。
  模型在每一层输出的隐藏状态以及初始嵌入输出。
  
• attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）- 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
  

XLNetModel 的输出类型。

class transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput

<来源>

( loss: Optional = None logits: FloatTensor = None mems: Optional = None hidden_states: Optional = None attentions: Optional = None )

参数

• loss（形状为*(1,)*的torch.FloatTensor，可选，当提供labels时返回）- 语言建模损失（用于下一个令牌预测）。
  
• logits（形状为(batch_size, num_predict, config.vocab_size)的torch.FloatTensor）- 语言建模头的预测分数（SoftMax 之前每个词汇令牌的分数）。
  num_predict对应于target_mapping.shape[1]。如果target_mapping为None，则num_predict对应于sequence_length。
  
• mems（长度为config.n_layers的List[torch.FloatTensor]）- 包含预先计算的隐藏状态。可以用于加速顺序解码（参见mems输入）。将其过去传递给此模型的令牌 ID 不应作为input_ids传递，因为它们已经计算过。
  
• hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）- 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个层的输出）。
  模型在每一层输出的隐藏状态以及初始嵌入输出。
  
• attentions (tuple(torch.FloatTensor), 可选, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  注意力权重在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  

XLNetLMHeadModel 的输出类型。

class transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput

<来源>

( loss: Optional = None logits: FloatTensor = None mems: Optional = None hidden_states: Optional = None attentions: Optional = None )

参数

• loss (torch.FloatTensor，形状为(1,)，可选, 当提供label时返回) — 分类（如果config.num_labels==1则为回归）损失。
  
• logits (torch.FloatTensor，形状为(batch_size, config.num_labels)) — 分类（如果config.num_labels==1则为回归）得分（SoftMax 之前）。
  
• mems (List[torch.FloatTensor]，长度为config.n_layers) — 包含预先计算的隐藏状态。可以用于加速顺序解码。将过去给定给该模型的标记 id 不应作为input_ids传递，因为它们已经计算过。
  
• hidden_states (tuple(torch.FloatTensor), 可选, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个层的输出）。
  模型在每一层输出的隐藏状态加上初始嵌入输出。
  
• attentions (tuple(torch.FloatTensor), 可选, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  注意力权重在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  

XLNetForSequenceClassification 的输出类型。

class transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput

<来源>

( loss: Optional = None logits: FloatTensor = None mems: Optional = None hidden_states: Optional = None attentions: Optional = None )

参数

• loss (torch.FloatTensor，形状为*(1,)*，可选, 当提供labels时返回) — 分类损失。
  
• logits (torch.FloatTensor，形状为(batch_size, num_choices)) — num_choices是输入张量的第二维度。（参见上面的input_ids）。
  分类得分（SoftMax 之前）。
  
• mems (List[torch.FloatTensor]，长度为config.n_layers) — 包含预先计算的隐藏状态。可以用于加速顺序解码。将过去给定给该模型的标记 id 不应作为input_ids传递，因为它们已经计算过。
  
• hidden_states (tuple(torch.FloatTensor), 可选, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个层的输出）。
  模型在每一层输出的隐藏状态加上初始嵌入输出。
  
• attentions (tuple(torch.FloatTensor), 可选, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  注意力权重在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  

XLNetForMultipleChoice 的输出类型。

class transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput

<来源>

( loss: Optional = None logits: FloatTensor = None mems: Optional = None hidden_states: Optional = None attentions: Optional = None )

参数

• loss (torch.FloatTensor，形状为(1,)，可选，当提供labels时返回) — 分类损失。
  
• logits (torch.FloatTensor，形状为(batch_size, sequence_length, config.num_labels)) — 分类分数（SoftMax 之前）。
  
• mems (List[torch.FloatTensor]，长度为config.n_layers) — 包含预先计算的隐藏状态。可以用于加速顺序解码（参见mems输入）。将其过去传递给此模型的标记 ID 不应作为input_ids传递，因为它们已经计算过。
  
• hidden_states (tuple(torch.FloatTensor), 可选, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个层的输出）。
  模型在每个层的输出以及初始嵌入输出的隐藏状态。
  
• attentions (tuple(torch.FloatTensor), 可选, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每个层一个）。
  在注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
  

XLNetForTokenClassificationOutput的输出类型。

class transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput

<来源>

( loss: Optional = None start_logits: FloatTensor = None end_logits: FloatTensor = None mems: Optional = None hidden_states: Optional = None attentions: Optional = None )

参数

• loss (torch.FloatTensor，形状为(1,)，可选，当提供labels时返回) — 总跨度提取损失是开始和结束位置的交叉熵之和。
  
• start_logits (torch.FloatTensor，形状为(batch_size, sequence_length,)) — 跨度开始分数（SoftMax 之前）。
  
• end_logits (torch.FloatTensor，形状为(batch_size, sequence_length,)) — 跨度结束分数（SoftMax 之前）。
  
• mems (List[torch.FloatTensor]，长度为config.n_layers) — 包含预先计算的隐藏状态。可以用于加速顺序解码（参见mems输入）。将其过去传递给此模型的标记 ID 不应作为input_ids传递，因为它们已经计算过。
  
• hidden_states (tuple(torch.FloatTensor), 可选, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个层的输出）。
  模型在每个层的输出以及初始嵌入输出的隐藏状态。
  
• attentions (tuple(torch.FloatTensor), 可选, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每个层一个）。
  在注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
  

XLNetForQuestionAnsweringSimple 的输出类型。

Transformers 4.37 中文文档（六十三）（3）https://developer.aliyun.com/article/1564118