Transformers 4.37 中文文档（五十五）（2）

Transformers 4.37 中文文档（五十五）（1）https://developer.aliyun.com/article/1565384

RobertaConfig

class transformers.RobertaConfig

<来源>

( vocab_size = 50265 hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.1 attention_probs_dropout_prob = 0.1 max_position_embeddings = 512 type_vocab_size = 2 initializer_range = 0.02 layer_norm_eps = 1e-12 pad_token_id = 1 bos_token_id = 0 eos_token_id = 2 position_embedding_type = 'absolute' use_cache = True classifier_dropout = None **kwargs )

参数

• vocab_size (int, optional, defaults to 50265) — RoBERTa 模型的词汇量。定义了在调用 RobertaModel 或 TFRobertaModel 时可以表示的不同标记数量。
• hidden_size (int, optional, defaults to 768) — 编码器层和池化层的维度。
• num_hidden_layers (int, optional, defaults to 12) — Transformer 编码器中的隐藏层数量。
• num_attention_heads (int, optional, defaults to 12) — 每个注意力层中的注意力头数。
• intermediate_size (int, optional, defaults to 3072) — Transformer 编码器中“中间”（通常称为前馈）层的维度。
• hidden_act (str or Callable, optional, defaults to "gelu") — 编码器和池化层中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu", "relu", "silu"和"gelu_new"。
• hidden_dropout_prob (float, optional, defaults to 0.1) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。
• attention_probs_dropout_prob (float, optional, defaults to 0.1) — 注意力概率的 dropout 比率。
• max_position_embeddings (int, optional, defaults to 512) — 此模型可能使用的最大序列长度。通常将其设置为较大的值以防万一（例如，512 或 1024 或 2048）。
• type_vocab_size (int, 可选，默认为 2) — 在调用 RobertaModel 或 TFRobertaModel 时传递的token_type_ids的词汇表大小。
• initializer_range (float, 可选，默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
• layer_norm_eps (float, 可选，默认为 1e-12) — 层归一化层使用的ε。
• position_embedding_type (str, 可选，默认为"absolute") — 位置嵌入的类型。选择"absolute"、"relative_key"、"relative_key_query"之一。有关位置嵌入的更多信息，请参阅Self-Attention with Relative Position Representations (Shaw et al.)中的"relative_key"。有关"relative_key_query"的更多信息，请参阅Improve Transformer Models with Better Relative Position Embeddings (Huang et al.)中的Method 4。
• is_decoder (bool, 可选，默认为False) — 模型是否用作解码器。如果为False，则模型用作编码器。
• use_cache (bool, 可选，默认为True) — 模型是否应返回最后的键/值注意力（并非所有模型都使用）。仅在config.is_decoder=True时相关。
• classifier_dropout (float, 可选) — 分类头的丢失率。

这是用于存储 RobertaModel 或 TFRobertaModel 配置的配置类。它用于根据指定的参数实例化 RoBERTa 模型，定义模型架构。使用默认值实例化配置将产生类似于 RoBERTa roberta-base架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import RobertaConfig, RobertaModel
>>> # Initializing a RoBERTa configuration
>>> configuration = RobertaConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = RobertaModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

RobertaTokenizer

class transformers.RobertaTokenizer

<来源>

( vocab_file merges_file errors = 'replace' bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' add_prefix_space = False **kwargs )

参数

• vocab_file (str) — 词汇表文件的路径。
• merges_file (str) — 合并文件的路径。
• errors (str, 可选，默认为"replace") — 解码字节为 UTF-8 时要遵循的范例。有关更多信息，请参阅bytes.decode。
• bos_token (str, 可选，默认为"") — 在预训练期间使用的序列开头标记。可用作序列分类器标记。
  在使用特殊标记构建序列时，这不是用于序列开头的标记。使用的标记是cls_token。
• eos_token (str, 可选，默认为"") — 序列结束标记。
  在使用特殊标记构建序列时，这不是用于序列结尾的标记。使用的标记是sep_token。
• sep_token (str, 可选，默认为"") — 分隔符标记，在从多个序列构建序列时使用，例如用于序列分类的两个序列或用于文本和问题的问题回答。它还用作使用特殊标记构建的序列的最后一个标记。
• cls_token (str, 可选, 默认为 "") — 在进行序列分类（整个序列而不是每个标记的分类）时使用的分类器标记。构建带有特殊标记的序列时，它是序列的第一个标记。
• unk_token (str, 可选, 默认为 "") — 未知标记。词汇表中没有的标记无法转换为 ID，而是设置为此标记。
• pad_token (str, 可选, 默认为 "") — 用于填充的标记，例如在批处理不同长度的序列时使用。
• mask_token (str, 可选, 默认为 "") — 用于屏蔽值的标记。在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
• add_prefix_space (bool, 可选, 默认为 False) — 是否在输入前添加一个初始空格。这允许将前导单词视为任何其他单词。（RoBERTa 分词器通过前面的空格检测单词的开头）。

构建一个 RoBERTa 分词器，从 GPT-2 分词器派生，使用字节级字节对编码。

此分词器已经训练成将空格视为标记的一部分（有点像 sentencepiece），因此一个单词将

无特殊标记的标记列表可能会根据其是否在句子开头（无空格）而进行不同编码：

>>> from transformers import RobertaTokenizer
>>> tokenizer = RobertaTokenizer.from_pretrained("roberta-base")
>>> tokenizer("Hello world")["input_ids"]
[0, 31414, 232, 2]
>>> tokenizer(" Hello world")["input_ids"]
[0, 20920, 232, 2]

您可以通过在实例化此分词器时或在对某些文本调用它时传递 add_prefix_space=True 来避免这种行为，但由于模型不是以这种方式进行预训练的，因此可能会导致性能下降。

当与 is_split_into_words=True 一起使用时，此分词器将在每个单词之前添加一个空格（即使是第一个单词）。

此分词器继承自 PreTrainedTokenizer，其中包含大部分主要方法。用户应参考此超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0 (List[int]) — 要添加特殊标记的 ID 列表。
• token_ids_1 (List[int], 可选) — 第二个序列对的可选 ID 列表。

返回

List[int]

具有适当特殊标记的 input IDs 列表。

通过连接和添加特殊标记从序列或序列对构建用于序列分类任务的模型输入。RoBERTa 序列的格式如下：

• 单个序列: X
• 序列对: A B

get_special_tokens_mask

<来源>

( token_ids_0: List token_ids_1: Optional = None already_has_special_tokens: bool = False ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0 (List[int]) — ID 列表。
• token_ids_1 (List[int], 可选) — 第二个序列对的可选 ID 列表。
• already_has_special_tokens (bool, 可选, 默认为 False) — 标记列表是否已经格式化为模型的特殊标记。

返回

List[int]

一个整数列表，范围为[0, 1]：1 表示特殊标记，0 表示序列标记。

从没有添加特殊标记的标记列表中检索序列 ID。在使用分词器的 prepare_for_model 方法添加特殊标记时调用此方法。

create_token_type_ids_from_sequences

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0 (List[int]) — ID 列表。
• token_ids_1 (List[int], 可选) — 第二个序列对的可选 ID 列表。

返回

List[int]

零列表。

从传递的两个序列创建一个用于序列对分类任务的掩码。RoBERTa 不使用标记类型 ID，因此返回一个零列表。

save_vocabulary

<来源>

( save_directory: str filename_prefix: Optional = None )

RobertaTokenizerFast

class transformers.RobertaTokenizerFast

<来源>

( vocab_file = None merges_file = None tokenizer_file = None errors = 'replace' bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' add_prefix_space = False trim_offsets = True **kwargs )

参数

• vocab_file（str）—词汇表文件的路径。
• merges_file（str）—合并文件的路径。
• errors（str，可选，默认为"replace"）—解码字节为 UTF-8 时要遵循的范例。有关更多信息，请参阅bytes.decode。
• bos_token（str，可选，默认为""）—在预训练期间使用的序列开始标记。可用作序列分类器标记。
  在构建使用特殊标记的序列时，这不是用于序列开头的标记。使用的标记是cls_token。
• eos_token（str，可选，默认为""）—序列结束标记。
  在构建使用特殊标记的序列时，这不是用于序列结尾的标记。使用的标记是sep_token。
• sep_token（str，可选，默认为""）—分隔符标记，用于从多个序列构建序列，例如用于序列分类的两个序列或用于问题回答的文本和问题。它还用作使用特殊标记构建的序列的最后一个标记。
• cls_token（str，可选，默认为""）—在进行序列分类（整个序列而不是每个标记的分类）时使用的分类器标记。构建带有特殊标记的序列时，它是序列的第一个标记。
• unk_token（str，可选，默认为""）—未知标记。词汇表中不存在的标记无法转换为 ID，而是设置为此标记。
• pad_token（str，可选，默认为""）—用于填充的标记，例如在批处理不同长度的序列时。
• mask_token（str，可选，默认为""）—用于屏蔽值的标记。这是在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
• add_prefix_space（bool，可选，默认为False）—是否在输入前添加一个初始空格。这允许将前导单词视为任何其他单词。（RoBERTa 分词器通过前面的空格检测单词的开头）。
• trim_offsets（bool，可选，默认为True）—后处理步骤是否应修剪偏移量以避免包含空格。

构建一个“快速”RoBERTa 分词器（由 HuggingFace 的tokenizers库支持），派生自 GPT-2 分词器，使用字节级字节对编码。

此分词器已经训练成将空格视为标记的一部分（有点像 sentencepiece），因此一个单词将

在句子开头（无空格）或不在句子开头时，将以不同方式编码：

>>> from transformers import RobertaTokenizerFast
>>> tokenizer = RobertaTokenizerFast.from_pretrained("roberta-base")
>>> tokenizer("Hello world")["input_ids"]
[0, 31414, 232, 2]
>>> tokenizer(" Hello world")["input_ids"]
[0, 20920, 232, 2]

您可以通过在实例化此分词器时或在对某些文本调用它时传递add_prefix_space=True来避免该行为，但由于该模型不是以这种方式进行预训练的，因此可能会导致性能下降。

当与is_split_into_words=True一起使用时，此分词器需要以add_prefix_space=True进行实例化。

此分词器继承自 PreTrainedTokenizerFast，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

<来源>

( token_ids_0 token_ids_1 = None )

Pytorch 隐藏了 Pytorch 内容

RobertaModel

class transformers.RobertaModel

<来源>

( config add_pooling_layer = True )

参数

• config（RobertaConfig）— 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

裸 RoBERTa 模型变压器输出原始隐藏状态，没有特定的头部在顶部。

该模型继承自 PreTrainedModel。查看超类文档以了解库为所有模型实现的通用方法（如下载或保存、调整输入嵌入、修剪头等）。

该模型还是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

该模型可以作为编码器（仅具有自注意力）或解码器运行，在后一种情况下，在自注意力层之间添加了一层交叉注意力，遵循 Ashish  Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N.  Gomez、Lukasz Kaiser 和 Illia Polosukhin 在Attention is all you need中描述的架构。

要作为解码器运行，模型需要使用配置中的is_decoder参数初始化为True。要在 Seq2Seq 模型中使用，模型需要使用is_decoder参数和add_cross_attention都设置为True进行初始化；然后期望将encoder_hidden_states作为输入传递给前向传递。

… _Attention is all you need: arxiv.org/abs/1706.03762

forward

<来源>

( input_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None past_key_values: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions or tuple(torch.FloatTensor)

参数

• input_ids（形状为(batch_size, sequence_length)的torch.LongTensor）— 词汇表中输入序列标记的索引。
  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
  什么是输入 ID？
• attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）— 用于避免在填充标记索引上执行注意力的掩码。选择的掩码值在[0, 1]中：

• 1 用于未被“掩码”掉的标记，
• 0 用于被“掩码”掉的标记。

• 什么是注意力掩码？
• token_type_ids（形状为(batch_size, sequence_length)的torch.LongTensor，可选）— 段标记索引，指示输入的第一部分和第二部分。索引在[0,1]中选择：

• 0 对应于“句子 A”标记，
• 1 对应于“句子 B”标记。只有在模型初始化时使用type_vocab_size参数值时才能使用此参数

= 2. 此张量中的所有值应始终 < type_vocab_size。

• 什么是标记类型 ID？
• position_ids（形状为(batch_size, sequence_length)的torch.LongTensor，可选）— 每个输入序列标记在位置嵌入中的位置索引。在范围[0, config.max_position_embeddings - 1]中选择。
  什么是位置 ID？
• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于使自注意力模块的选定头部失效的掩码。掩码值选择在[0, 1]中：

• 1 表示头部未被masked，
• 0 表示头部被masked。

• inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 可选地，可以直接传递嵌入表示，而不是传递input_ids。如果您想要更多控制权来将input_ids索引转换为相关向量，而不是模型的内部嵌入查找矩阵，则这很有用。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的hidden_states。
• return_dict (bool, optional) — 是否返回一个 ModelOutput 而不是一个普通的元组。
• encoder_hidden_states (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 编码器最后一层的隐藏状态序列。如果模型配置为解码器，则在交叉注意力中使用。
• encoder_attention_mask (torch.FloatTensor of shape (batch_size, sequence_length), optional) — 用于避免在编码器输入的填充标记索引上执行注意力的掩码。如果模型配置为解码器，则在交叉注意力中使用。掩码值选择在[0, 1]中：

• 对于未被masked的标记为 1。
• 对于被masked的标记为 0。

• past_key_values (tuple(tuple(torch.FloatTensor)) of length config.n_layers，每个元组包含形状为(batch_size, num_heads, sequence_length - 1, embed_size_per_head)的 4 个张量） — 包含注意力块的预计算键和值隐藏状态。可用于加速解码。
  如果使用了past_key_values，用户可以选择只输入形状为(batch_size, 1)的最后一个decoder_input_ids（那些没有将它们的过去键值状态提供给此模型的）而不是形状为(batch_size, sequence_length)的所有decoder_input_ids。
• use_cache (bool, optional) — 如果设置为True，将返回past_key_values键值状态，并可用于加速解码（参见past_key_values）。

返回

transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions 或一个torch.FloatTensor元组（如果传递了return_dict=False或当config.return_dict=False时）包含根据配置（RobertaConfig）和输入而异的各种元素。

• last_hidden_state (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层的隐藏状态序列的输出。
• pooler_output (torch.FloatTensor of shape (batch_size, hidden_size)) — 经过辅助预训练任务中用于处理的层进一步处理后，序列第一个标记（分类标记）的最后一层隐藏状态。例如，对于 BERT 系列模型，这将返回经过线性层和 tanh 激活函数处理后的分类标记。线性层的权重是在预训练期间从下一个句子预测（分类）目标中训练的。
• hidden_states (tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或者config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 一个用于每一层的输出）。
  模型在每一层输出的隐藏状态以及可选的初始嵌入输出。
• attentions (tuple(torch.FloatTensor)，可选，当传递output_attentions=True或者config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
• cross_attentions (tuple(torch.FloatTensor)，可选，当传递output_attentions=True和config.add_cross_attention=True或者config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  解码器的交叉注意力层的注意力权重 softmax 后的注意力权重，用于计算交叉注意力头中的加权平均值。
• past_key_values (tuple(tuple(torch.FloatTensor))，可选，当传递use_cache=True或者config.use_cache=True时返回) — 长度为config.n_layers的tuple(torch.FloatTensor)元组，每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)的张量，如果config.is_encoder_decoder=True还有 2 个额外的形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)的张量。
  包含预先计算的隐藏状态（自注意力块中的键和值，以及如果config.is_encoder_decoder=True在交叉注意力块中的情况下）可用于加速顺序解码（查看past_key_values输入）。

RobertaModel 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的步骤需要在此函数内定义，但应该在此之后调用Module实例，而不是在此处调用，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoTokenizer, RobertaModel
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("roberta-base")
>>> model = RobertaModel.from_pretrained("roberta-base")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state

Transformers 4.37 中文文档（五十五）（3）https://developer.aliyun.com/article/1565387?spm=a2c6h.13148508.setting.20.7df94f0epaH6GK