Transformers 4.37 中文文档（四十）（3）-阿里云开发者社区

Transformers 4.37 中文文档（四十）（2）https://developer.aliyun.com/article/1564992

Longformer

原始文本：huggingface.co/docs/transformers/v4.37.2/en/model_doc/longformer

概述

Longformer 模型在Iz Beltagy, Matthew E. Peters, Arman Cohan 的《Longformer: The Long-Document Transformer》中提出。

论文摘要如下：

基于 Transformer 的模型由于其自注意力操作而无法处理长序列，该操作随着序列长度呈二次方增长。为了解决这一限制，我们引入了 Longformer，其注意力机制与序列长度呈线性增长，使其能够轻松处理数千个标记或更长文档。Longformer 的注意力机制是标准自注意力的替代品，结合了局部窗口注意力和任务驱动的全局注意力。在长序列 Transformer 的先前工作基础上，我们在字符级语言建模上评估 Longformer，并在 text8 和 enwik8 上取得了最新的成果。与大多数先前的工作相比，我们还对 Longformer 进行了预训练，并在各种下游任务上进行了微调。我们的预训练 Longformer 在长文档任务上始终优于 RoBERTa，并在 WikiHop 和 TriviaQA 上取得了最新的成果。

此模型由beltagy贡献。作者的代码可以在此处找到。

使用提示

由于 Longformer 基于 RoBERTa，它没有token_type_ids。您不需要指示哪个标记属于哪个段。只需使用分隔标记tokenizer.sep_token（或）分隔您的段。
将注意力矩阵替换为稀疏矩阵以加快速度的变压器模型。通常，局部上下文（例如，左右两个标记是什么？）足以为给定标记采取行动。仍然会给定一些预选输入标记全局关注，但是注意力矩阵的参数要少得多，从而加快速度。有关更多信息，请参阅局部注意力部分。

Longformer 自注意力

Longformer 自注意力同时在“局部”上下文和“全局”上下文上使用自注意力。大多数标记仅“局部”地相互关注，这意味着每个标记只关注其前12w\frac{1}{2} w21w 个标记和后12w\frac{1}{2} w21w 个标记，其中www 是在config.attention_window中定义的窗口长度。请注意，config.attention_window可以是List类型，以定义每个层的不同www。少数选定的标记对所有其他标记进行“全局”关注，就像在BertSelfAttention中为所有标记惯例上所做的那样。

请注意，“局部”和“全局”关注的标记由不同的查询、键和值矩阵进行投影。还请注意，每个“局部”关注的标记不仅关注其窗口内的标记www，还关注所有“全局”关注的标记，以使全局关注是对称的。

用户可以通过在运行时适当设置张量global_attention_mask来定义哪些令牌“局部”关注，哪些令牌“全局”关注。所有 Longformer 模型都采用以下逻辑来处理global_attention_mask：

0：令牌“局部”关注，
1：令牌“全局”关注。

更多信息，请参考 forward()方法。

使用 Longformer 自注意力机制，通常代表内存和时间瓶颈的查询-键 matmul 操作的内存和时间复杂度可以从 O(ns×ns)降低到 O(ns×w)，其中 ns 是序列长度，w 是平均窗口大小。假设“全局”关注的令牌数量与“局部”关注的令牌数量相比微不足道。

更多信息，请参考官方论文。

训练

LongformerForMaskedLM 的训练方式与 RobertaForMaskedLM 完全相同，应该如下使用：

input_ids = tokenizer.encode("This is a sentence from [MASK] training data", return_tensors="pt")
mlm_labels = tokenizer.encode("This is a sentence from the training data", return_tensors="pt")
loss = model(input_ids, labels=input_ids, masked_lm_labels=mlm_labels)[0]

资源

文本分类任务指南
令牌分类任务指南
问答任务指南
遮蔽语言建模任务指南
多项选择任务指南

LongformerConfig

`class transformers.LongformerConfig`

<来源>

( attention_window: Union = 512 sep_token_id: int = 2 pad_token_id: int = 1 bos_token_id: int = 0 eos_token_id: int = 2 vocab_size: int = 30522 hidden_size: int = 768 num_hidden_layers: int = 12 num_attention_heads: int = 12 intermediate_size: int = 3072 hidden_act: str = 'gelu' hidden_dropout_prob: float = 0.1 attention_probs_dropout_prob: float = 0.1 max_position_embeddings: int = 512 type_vocab_size: int = 2 initializer_range: float = 0.02 layer_norm_eps: float = 1e-12 onnx_export: bool = False **kwargs )

参数

vocab_size（int，可选，默认为 30522）— Longformer 模型的词汇量。定义了在调用 LongformerModel 或 TFLongformerModel 时可以由inputs_ids表示的不同令牌数量。
hidden_size（int，可选，默认为 768）— 编码器层和池化器层的维度。
num_hidden_layers（int，可选，默认为 12）— Transformer 编码器中的隐藏层数量。
num_attention_heads（int，可选，默认为 12）— Transformer 编码器中每个注意力层的注意力头数量。
intermediate_size（int，可选，默认为 3072）— Transformer 编码器中“中间”（通常称为前馈）层的维度。
hidden_act（str或Callable，可选，默认为"gelu"）— 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"silu"和"gelu_new"。
hidden_dropout_prob（float，可选，默认为 0.1）— 嵌入层、编码器和池化器中所有全连接层的丢失概率。
attention_probs_dropout_prob (float, optional, defaults to 0.1) — 注意力概率的 dropout 比率。
max_position_embeddings (int, optional, defaults to 512) — 此模型可能使用的最大序列长度。通常设置为较大的值以防万一（例如，512 或 1024 或 2048）。
type_vocab_size (int, optional, defaults to 2) — 在调用 LongformerModel 或 TFLongformerModel 时传递的token_type_ids的词汇大小。
initializer_range (float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
layer_norm_eps (float, optional, defaults to 1e-12) — 层归一化层使用的 epsilon。
attention_window (int or List[int], optional, defaults to 512) — 每个标记周围的注意力窗口大小。如果是int，则对所有层使用相同大小。要为每个层指定不同的窗口大小，请使用List[int]，其中len(attention_window) == num_hidden_layers。

这是用于存储 LongformerModel 或 TFLongformerModel 配置的配置类。它用于根据指定的参数实例化 Longformer 模型，定义模型架构。

这是用于存储 LongformerModel 配置的配置类。它用于根据指定的参数实例化 Longformer 模型，定义模型架构。使用默认值实例化配置将产生与 LongFormer allenai/longformer-base-4096架构相似的配置，序列长度为 4,096。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import LongformerConfig, LongformerModel
>>> # Initializing a Longformer configuration
>>> configuration = LongformerConfig()
>>> # Initializing a model from the configuration
>>> model = LongformerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

LongformerTokenizer

`class transformers.LongformerTokenizer`

<来源>

( vocab_file merges_file errors = 'replace' bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' add_prefix_space = False **kwargs )

参数

vocab_file (str) — 词汇文件的路径。
merges_file (str) — 合并文件的路径。
errors (str, optional, defaults to "replace") — 解码字节为 UTF-8 时要遵循的范例。有关更多信息，请参阅bytes.decode。
bos_token (str, optional, defaults to "") — 在预训练期间使用的序列开头标记。可用作序列分类器标记。
在使用特殊标记构建序列时，这不是用于序列开头的标记。使用的标记是cls_token。
eos_token (str, optional, defaults to "") — 序列结束标记。
在使用特殊标记构建序列时，这不是用于序列结尾的标记。使用的标记是sep_token。
sep_token (str, optional, defaults to "") — 分隔符标记，在从多个序列构建序列时使用，例如用于序列分类的两个序列或用于文本和问题的问题回答。它还用作使用特殊标记构建的序列的最后一个标记。
cls_token (str, optional, 默认为 "") — 在进行序列分类（整个序列而不是每个标记的分类）时使用的分类器标记。这是构建带有特殊标记的序列时的第一个标记。
unk_token (str, optional, 默认为 "") — 未知标记。词汇表中没有的标记无法转换为 ID，而是设置为此标记。
pad_token (str, optional, 默认为 "") — 用于填充的标记，例如在批处理不同长度的序列时。
mask_token (str, optional, 默认为 "") — 用于屏蔽值的标记。这是在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
add_prefix_space (bool, optional, 默认为 False) — 是否在输入前添加一个初始空格。这允许将前导单词视为任何其他单词。（Longformer 分词器通过前面的空格检测单词的开头）。

构建一个 Longformer 分词器，从 GPT-2 分词器派生，使用字节级字节对编码。

此分词器已经训练成将空格视为标记的一部分（有点像 sentencepiece），因此一个单词将

根据句子开头是否有空格，将被编码为不同的方式：

>>> from transformers import LongformerTokenizer
>>> tokenizer = LongformerTokenizer.from_pretrained("allenai/longformer-base-4096")
>>> tokenizer("Hello world")["input_ids"]
[0, 31414, 232, 2]
>>> tokenizer(" Hello world")["input_ids"]
[0, 20920, 232, 2]

您可以通过在实例化此分词器时或在对某些文本调用它时传递add_prefix_space=True来避免这种行为，但由于模型不是以这种方式进行预训练的，因此可能会导致性能下降。

当与is_split_into_words=True一起使用时，此分词器将在每个单词之前添加一个空格（甚至是第一个单词）。

此分词器继承自 PreTrainedTokenizer，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

`build_inputs_with_special_tokens`

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

token_ids_0 (List[int]) — 要添加特殊标记的 ID 列表。
token_ids_1 (List[int], optional) — 序列对的可选第二个 ID 列表。

List[int]

具有适当特殊标记的 input IDs 列表。

通过连接和添加特殊标记从序列或序列对构建用于序列分类任务的模型输入。Longformer 序列的格式如下：

单个序列： X
序列对： A B

`convert_tokens_to_string`

<来源>

( tokens )

将一系列标记（字符串）转换为单个字符串。

`create_token_type_ids_from_sequences`

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

token_ids_0 (List[int]) — ID 列表。
token_ids_1 (List[int], optional) — 可选的第二个 ID 列表，用于序列对。

List[int]

零列表。

从传递的两个序列创建一个用于序列对分类任务的掩码。Longformer 不使用 token 类型 ID，因此返回一个零列表。

`get_special_tokens_mask`

<来源>

( token_ids_0: List token_ids_1: Optional = None already_has_special_tokens: bool = False ) → export const metadata = 'undefined';List[int]

参数

token_ids_0 (List[int]) — ID 列表。
token_ids_1 (List[int], optional) — 可选的第二个 ID 列表，用于序列对。
already_has_special_tokens (bool, optional, 默认为 False) — 标记列表是否已经格式化为模型的特殊标记。

List[int]

一个整数列表，范围在[0, 1]之间：1 表示特殊标记，0 表示序列标记。

从没有添加特殊标记的标记列表中检索序列 ID。在使用分词器prepare_for_model方法添加特殊标记时，会调用此方法。

LongformerTokenizerFast

`class transformers.LongformerTokenizerFast`

< source >

( vocab_file = None merges_file = None tokenizer_file = None errors = 'replace' bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' add_prefix_space = False trim_offsets = True **kwargs )

参数

vocab_file（str）— 词汇表文件的路径。
merges_file（str）— 合并文件的路径。
errors（str，可选，默认为"replace"）— 解码字节为 UTF-8 时要遵循的范例。有关更多信息，请参阅bytes.decode。
bos_token（str，可选，默认为""）— 在预训练期间使用的序列开始标记。可以用作序列分类器标记。
在使用特殊标记构建序列时，这不是用于序列开头的标记。使用的标记是cls_token。
eos_token（str，可选，默认为""）— 序列结束标记。
在使用特殊标记构建序列时，这不是用于序列结尾的标记。使用的标记是sep_token。
sep_token（str，可选，默认为""）— 分隔符标记，用于从多个序列构建序列，例如用于序列分类的两个序列或用于文本和问题的问题回答。它也用作使用特殊标记构建的序列的最后一个标记。
cls_token（str，可选，默认为""）— 在进行序列分类（整个序列的分类，而不是每个标记的分类）时使用的分类器标记。当使用特殊标记构建序列时，它是序列的第一个标记。
unk_token（str，可选，默认为""）— 未知标记。词汇表中没有的标记无法转换为 ID，而是设置为此标记。
pad_token（str，可选，默认为""）— 用于填充的标记，例如在批处理不同长度的序列时使用。
mask_token（str，可选，默认为""）— 用于屏蔽值的标记。这是在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
add_prefix_space（bool，可选，默认为False）— 是否在输入中添加初始空格。这允许将前导单词视为任何其他单词。（Longformer 分词器通过前面的空格检测单词的开头）。
trim_offsets（bool，可选，默认为True）— 后处理步骤是否应该修剪偏移量以避免包含空格。

构建一个“快速”Longformer 分词器（由 HuggingFace 的tokenizers库支持），派生自 GPT-2 分词器，使用字节级字节对编码。

这个分词器已经训练过，将空格视为标记的一部分（有点像 sentencepiece），所以一个单词会

在句子开头（没有空格）或不是时，可能会以不同方式编码：

>>> from transformers import LongformerTokenizerFast
>>> tokenizer = LongformerTokenizerFast.from_pretrained("allenai/longformer-base-4096")
>>> tokenizer("Hello world")["input_ids"]
[0, 31414, 232, 2]
>>> tokenizer(" Hello world")["input_ids"]
[0, 20920, 232, 2]

您可以通过在实例化此分词器时或在对某些文本调用它时传递add_prefix_space=True来避免这种行为，但由于模型不是以这种方式进行预训练的，可能会导致性能下降。

当与is_split_into_words=True一起使用时，需要使用add_prefix_space=True来实例化此分词器。

这个分词器继承自 PreTrainedTokenizerFast，其中包含大部分主要方法。用户应该参考这个超类以获取有关这些方法的更多信息。

`create_token_type_ids_from_sequences`

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

token_ids_0 (List[int]) — ID 列表。
token_ids_1 (List[int], optional) — 序列对的可选第二个 ID 列表。

List[int]

零列表。

从传递的两个序列创建一个用于序列对分类任务的掩码。Longformer 不使用令牌类型 id，因此返回一个零列表。

Longformer 特定输出

`class transformers.models.longformer.modeling_longformer.LongformerBaseModelOutput`

<来源>

( last_hidden_state: FloatTensor hidden_states: Optional = None attentions: Optional = None global_attentions: Optional = None )

参数

last_hidden_state (torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)) — 模型最后一层的隐藏状态序列。
hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入输出，一个用于每一层的输出）。
模型每一层输出的隐藏状态以及初始嵌入输出。
attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — 每一层的torch.FloatTensor元组，形状为(batch_size, num_heads, sequence_length, x + attention_window + 1)，其中x是具有全局注意力掩码的令牌数量。在注意力 softmax 之后的局部注意力权重，用于计算自注意力头中的加权平均值。这些是序列中每个令牌到具有全局注意力的每个令牌（前x个值）和到注意力窗口中的每个令牌（剩余的attention_window）的注意力权重。

1values)。请注意，前x个值是指文本中具有固定位置的令牌，但剩余的attention_window + 1个值是指具有相对位置的令牌：令牌到自身的注意力权重位于索引x + attention_window / 2，前（后）的attention_window / 2个值是到前（后）的令牌的注意力权重。如果注意力窗口包含具有全局注意力的令牌，则相应索引处的注意力权重设置为 0；该值应从前x个注意力权重中访问。如果一个令牌具有全局注意力，则到attentions中的所有其他令牌的注意力权重设置为 0，该值应从global_attentions`中访问。

global_attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — 每一层的torch.FloatTensor元组，形状为(batch_size, num_heads, sequence_length, x)，其中x是具有全局注意力掩码的令牌数量。
在注意力 softmax 之后的全局注意力权重，用于计算自注意力头中的加权平均值。这些是来自具有全局注意力的每个令牌到序列中每个令牌的注意力权重。

Longformer 输出的基类，具有潜在的隐藏状态、局部和全局注意力。

`class transformers.models.longformer.modeling_longformer.LongformerBaseModelOutputWithPooling`

<来源>

( last_hidden_state: FloatTensor pooler_output: FloatTensor = None hidden_states: Optional = None attentions: Optional = None global_attentions: Optional = None )

参数

last_hidden_state (torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)) — 模型最后一层的隐藏状态序列。
pooler_output（形状为(batch_size, hidden_size)的torch.FloatTensor）— 序列第一个令牌（分类令牌）的最后一层隐藏状态，进一步由线性层和 Tanh 激活函数处理。线性层的权重是通过预训练期间的下一个句子预测（分类）目标进行训练的。
hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）— 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组。
模型在每一层输出的隐藏状态加上初始嵌入输出。
attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）— 形状为(batch_size, num_heads, sequence_length, x + attention_window + 1)的torch.FloatTensor元组（每层一个），其中x是具有全局注意力掩码的令牌数量。在注意力 softmax 之后的本地注意力权重，用于计算自注意力头中的加权平均值。这些是从序列中的每个令牌到具有全局注意力的每个令牌（前x个值）以及到注意力窗口中的每个令牌的注意力权重（剩余的attention_window）。

1值）。注意，前x个值是指文本中具有固定位置的令牌，但剩余的attention_window + 1个值是指具有相对位置的令牌：令牌对自身的注意力权重位于索引x + attention_window / 2，前（后）attention_window / 2个值是对前（后）attention_window / 2个令牌的注意力权重。如果注意力窗口包含具有全局注意力的令牌，则相应索引处的注意力权重设置为 0；该值应从前x个注意力权重中访问。如果一个令牌具有全局注意力，则对attentions中的所有其他令牌的注意力权重设置为 0，应从global_attentions`中访问这些值。

global_attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）— 形状为(batch_size, num_heads, sequence_length, x)的torch.FloatTensor元组（每层一个），其中x是具有全局注意力掩码的令牌数量。
在注意力 softmax 之后的全局注意力权重，用于计算自注意力头中的加权平均值。这些是具有全局注意力的每个令牌到序列中的每个令牌的注意力权重。

Longformer 输出的基类，还包含最后隐藏状态的池化。

`class transformers.models.longformer.modeling_longformer.LongformerMaskedLMOutput`

<来源>

( loss: Optional = None logits: FloatTensor = None hidden_states: Optional = None attentions: Optional = None global_attentions: Optional = None )

参数

loss（形状为(1,)的torch.FloatTensor，可选，在提供labels时返回）— 掩码语言建模（MLM）损失。
logits（形状为(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor）— 语言建模头的预测分数（SoftMax 之前每个词汇令牌的分数）。
hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）— 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组。
模型在每一层输出的隐藏状态加上初始嵌入输出。
attentions (tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回） — 形状为(batch_size, num_heads, sequence_length, x + attention_window + 1)的torch.FloatTensor元组（每层一个），其中x是具有全局注意力掩码的令牌数。在自注意力头中用于计算加权平均值的注意力 softmax 后的本地注意力权重。这些是从序列中的每个令牌到具有全局注意力的每个令牌（前x个值）和到注意力窗口中的每个令牌（剩余attention_window个值）的注意力权重。

注意：前x个值是指文本中具有固定位置的令牌，但剩余的attention_window + 1个值是指具有相对位置的令牌：令牌对自身的注意力权重位于索引x + attention_window / 2，前（后）attention_window / 2个值是对前（后）attention_window / 2个令牌的注意力权重。如果注意力窗口包含具有全局注意力的令牌，则相应索引处的注意力权重设置为 0；应从前x个注意力权重中访问该值。如果一个令牌具有全局注意力，则对attentions中的所有其他令牌的注意力权重设置为 0，应从global_attentions中访问该值。

global_attentions (tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回） — 形状为(batch_size, num_heads, sequence_length, x)的torch.FloatTensor元组（每层一个），其中x是具有全局注意力掩码的令牌数。
在自注意力头中用于计算加权平均值的注意力 softmax 后的全局注意力权重。这些是从具有全局注意力的每个令牌到序列中的每个令牌的注意力权重。

用于掩码语言模型输出的基类。

`class transformers.models.longformer.modeling_longformer.LongformerQuestionAnsweringModelOutput`

<来源>

( loss: Optional = None start_logits: FloatTensor = None end_logits: FloatTensor = None hidden_states: Optional = None attentions: Optional = None global_attentions: Optional = None )

参数

损失 (torch.FloatTensor，形状为(1,)，可选，当提供labels时返回) — 总跨度抽取损失是开始和结束位置的交叉熵之和。
start_logits (torch.FloatTensor，形状为(batch_size, sequence_length)) — 跨度开始得分（SoftMax 之前）。
end_logits (torch.FloatTensor，形状为(batch_size, sequence_length)) — 跨度结束得分（SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回） — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（嵌入输出的一个和每层输出的一个）。
模型在每一层输出的隐藏状态加上初始嵌入输出。
attentions (tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回） — 形状为(batch_size, num_heads, sequence_length, x + attention_window + 1)的torch.FloatTensor元组（每层一个），其中x是具有全局注意力掩码的令牌数。在自注意力头中用于计算加权平均值的注意力 softmax 后的本地注意力权重。这些是从序列中的每个令牌到具有全局注意力的每个令牌（前x个值）和到注意力窗口中的每个令牌（剩余attention_window个值）。

1值）。注意，前x个值是指文本中具有固定位置的令牌，但剩余的attention_window + 1个值是指具有相对位置的令牌：令牌与自身的注意力权重位于索引x + attention_window / 2处，前（后）attention_window / 2个值是指与前（后）attention_window / 2个令牌的注意力权重。如果注意力窗口包含具有全局注意力的令牌，则相应索引处的注意力权重设置为 0；该值应从前x个注意力权重中获取。如果一个令牌具有全局注意力，则该令牌对attentions中的所有其他令牌的注意力权重设置为 0，应从global_attentions`中获取值。

global_attentions (tuple(torch.FloatTensor), 可选, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, x)的torch.FloatTensor元组（每层一个），其中x是具有全局注意力掩码的令牌数量。
注意力 softmax 后的全局注意力权重，用于计算自注意力头中的加权平均值。这些是每个令牌与序列中每个令牌的全局注意力的注意力权重。

用于问答 Longformer 模型输出的基类。

`class transformers.models.longformer.modeling_longformer.LongformerSequenceClassifierOutput`

<来源>

( loss: Optional = None logits: FloatTensor = None hidden_states: Optional = None attentions: Optional = None global_attentions: Optional = None )

参数

loss (torch.FloatTensor，形状为(1,)，可选，当提供labels时返回) — 分类（如果config.num_labels==1则为回归）损失。
logits (torch.FloatTensor，形状为(batch_size, config.num_labels)) — 分类（如果config.num_labels==1则为回归）得分（SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor), 可选, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（嵌入输出和每一层输出各一个）。
模型在每一层输出的隐藏状态加上初始嵌入输出。
attentions (tuple(torch.FloatTensor), 可选, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, x + attention_window + 1)的torch.FloatTensor元组（每层一个），其中x是具有全局注意力掩码的令牌数量。注意力 softmax 后的局部注意力权重，用于计算自注意力头中的加权平均值。这些是序列中每个令牌与具有全局注意力的每个令牌（前x个值）以及注意力窗口中的每个令牌的注意力权重（剩余的attention_window值）。

1值）。注意，前x个值是指文本中具有固定位置的令牌，但剩余的attention_window + 1个值是指具有相对位置的令牌：令牌与自身的注意力权重位于索引x + attention_window / 2处，前（后）attention_window / 2个值是指与前（后）attention_window / 2个令牌的注意力权重。如果注意力窗口包含具有全局注意力的令牌，则相应索引处的注意力权重设置为 0；该值应从前x个注意力权重中获取。如果一个令牌具有全局注意力，则该令牌对attentions中的所有其他令牌的注意力权重设置为 0，应从global_attentions`中获取值。

global_attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）— 形状为(batch_size, num_heads, sequence_length, x)的torch.FloatTensor元组（每层一个），其中x是具有全局注意力掩码的令牌数。
在注意力 softmax 之后的全局注意力权重，用于计算自注意力头中的加权平均值。这些是来自每个令牌的全局注意力到序列中每个令牌的注意力权重。

句子分类模型输出的基类。

`class transformers.models.longformer.modeling_longformer.LongformerMultipleChoiceModelOutput`

<来源>

( loss: Optional = None logits: FloatTensor = None hidden_states: Optional = None attentions: Optional = None global_attentions: Optional = None )

参数

loss（torch.FloatTensor，形状为*(1,)*，可选，当提供labels时返回）— 分类损失。
logits（形状为(batch_size, num_choices)的torch.FloatTensor）— num_choices是输入张量的第二维度。（参见上面的input_ids）。
分类得分（SoftMax 之前）。
hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）— 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（嵌入输出和每层输出各一个）。
模型在每一层输出的隐藏状态加上初始嵌入输出。
attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）— 形状为(batch_size, num_heads, sequence_length, x + attention_window + 1)的torch.FloatTensor元组（每层一个），其中x是具有全局注意力掩码的令牌数。在注意力 softmax 之后的局部注意力权重，用于计算自注意力头中的加权平均值。这些是来自序列中每个令牌的注意力权重，分别对全局注意力的每个令牌（前x个值）和注意力窗口中的每个令牌进行注意力。

1值）。请注意，前x个值是指文本中具有固定位置的令牌，但剩余的attention_window + 1个值是指具有相对位置的令牌：令牌对自身的注意力权重位于索引x + attention_window / 2，前（后）attention_window / 2个值是对前（后）attention_window / 2个令牌的注意力权重。如果注意力窗口包含具有全局注意力的令牌，则相应索引处的注意力权重设置为 0；值应从第一个x注意力权重中访问。如果一个令牌具有全局注意力，则对attentions中的所有其他令牌的注意力权重设置为 0，值应从global_attentions`中访问。

global_attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）— 形状为(batch_size, num_heads, sequence_length, x)的torch.FloatTensor元组（每层一个），其中x是具有全局注意力掩码的令牌数。
在注意力 softmax 之后的全局注意力权重，用于计算自注意力头中的加权平均值。这些是来自每个令牌的全局注意力到序列中每个令牌的注意力权重。

多选 Longformer 模型输出的基类。

Transformers 4.37 中文文档（四十）（4）https://developer.aliyun.com/article/1564996

Transformers 4.37 中文文档（四十）（3）

Longformer

概述

使用提示

Longformer 自注意力

训练

资源

LongformerConfig

`class transformers.LongformerConfig`

LongformerTokenizer

`class transformers.LongformerTokenizer`

`build_inputs_with_special_tokens`

`convert_tokens_to_string`

`create_token_type_ids_from_sequences`

`get_special_tokens_mask`

LongformerTokenizerFast

`class transformers.LongformerTokenizerFast`

`create_token_type_ids_from_sequences`

Longformer 特定输出

`class transformers.models.longformer.modeling_longformer.LongformerBaseModelOutput`

`class transformers.models.longformer.modeling_longformer.LongformerBaseModelOutputWithPooling`

`class transformers.models.longformer.modeling_longformer.LongformerMaskedLMOutput`

`class transformers.models.longformer.modeling_longformer.LongformerQuestionAnsweringModelOutput`

`class transformers.models.longformer.modeling_longformer.LongformerSequenceClassifierOutput`

`class transformers.models.longformer.modeling_longformer.LongformerMultipleChoiceModelOutput`

热门文章

最新文章

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

Transformers 4.37 中文文档（四十）（3）

Longformer

概述

使用提示

Longformer 自注意力

训练

资源

LongformerConfig

class transformers.LongformerConfig

LongformerTokenizer

class transformers.LongformerTokenizer

build_inputs_with_special_tokens

convert_tokens_to_string

create_token_type_ids_from_sequences

get_special_tokens_mask

LongformerTokenizerFast

class transformers.LongformerTokenizerFast

create_token_type_ids_from_sequences

Longformer 特定输出

class transformers.models.longformer.modeling_longformer.LongformerBaseModelOutput

class transformers.models.longformer.modeling_longformer.LongformerBaseModelOutputWithPooling

class transformers.models.longformer.modeling_longformer.LongformerMaskedLMOutput

class transformers.models.longformer.modeling_longformer.LongformerQuestionAnsweringModelOutput

class transformers.models.longformer.modeling_longformer.LongformerSequenceClassifierOutput

class transformers.models.longformer.modeling_longformer.LongformerMultipleChoiceModelOutput

热门文章

最新文章

相关电子书

`class transformers.LongformerConfig`

`class transformers.LongformerTokenizer`

`build_inputs_with_special_tokens`

`convert_tokens_to_string`

`create_token_type_ids_from_sequences`

`get_special_tokens_mask`

`class transformers.LongformerTokenizerFast`

`create_token_type_ids_from_sequences`

`class transformers.models.longformer.modeling_longformer.LongformerBaseModelOutput`

`class transformers.models.longformer.modeling_longformer.LongformerBaseModelOutputWithPooling`

`class transformers.models.longformer.modeling_longformer.LongformerMaskedLMOutput`

`class transformers.models.longformer.modeling_longformer.LongformerQuestionAnsweringModelOutput`

`class transformers.models.longformer.modeling_longformer.LongformerSequenceClassifierOutput`

`class transformers.models.longformer.modeling_longformer.LongformerMultipleChoiceModelOutput`