Transformers 4.37 中文文档（五十二）（1）

原文：huggingface.co/docs/transformers

ProphetNet

原文链接：huggingface.co/docs/transformers/v4.37.2/en/model_doc/prophetnet

概述

ProphetNet 模型是由 Yu Yan, Weizhen Qi, Yeyun Gong, Dayiheng Liu, Nan  Duan, Jiusheng Chen, Ruofei Zhang, Ming Zhou 于 2020 年 1 月 13 日提出的ProphetNet: Predicting Future N-gram for Sequence-to-Sequence Pre-training。

ProphetNet 是一个编码器-解码器模型，可以预测“ngram”语言建模的 n 个未来标记，而不仅仅是下一个标记。

论文摘要如下：

在本文中，我们提出了一种名为 ProphetNet 的新的序列到序列预训练模型，引入了一种名为未来 n-gram  预测的新型自监督目标和提出的 n 流自注意力机制。与传统序列到序列模型中一步预测的优化不同，ProphetNet 通过 n  步预测进行优化，即在每个时间步基于先前上下文标记同时预测接下来的 n 个标记。未来 n-gram  预测明确鼓励模型规划未来标记，并防止在强烈的局部相关性上过拟合。我们分别使用基本规模数据集（16GB）和大规模数据集（160GB）对  ProphetNet 进行预训练。然后我们在 CNN/DailyMail、Gigaword 和 SQuAD 1.1  基准上进行抽象摘要和问题生成任务的实验。实验结果表明，与使用相同规模预训练语料库的模型相比，ProphetNet  在所有这些数据集上都取得了新的最先进结果。

作者的代码可以在这里找到。

使用提示

• ProphetNet 是一个带有绝对位置嵌入的模型，因此通常建议在右侧而不是左侧填充输入。
  
• 该模型架构基于原始 Transformer，但是在解码器中用一个主自注意力机制和一个自注意力机制和 n 流（预测）自注意力机制替换了“标准”自注意力机制。
  

资源

• 因果语言建模任务指南
  
• 翻译任务指南
  
• 摘要任务指南
  

ProphetNetConfig

class transformers.ProphetNetConfig

<来源>

( activation_dropout: Optional = 0.1 activation_function: Union = 'gelu' vocab_size: Optional = 30522 hidden_size: Optional = 1024 encoder_ffn_dim: Optional = 4096 num_encoder_layers: Optional = 12 num_encoder_attention_heads: Optional = 16 decoder_ffn_dim: Optional = 4096 num_decoder_layers: Optional = 12 num_decoder_attention_heads: Optional = 16 attention_dropout: Optional = 0.1 dropout: Optional = 0.1 max_position_embeddings: Optional = 512 init_std: Optional = 0.02 is_encoder_decoder: Optional = True add_cross_attention: Optional = True decoder_start_token_id: Optional = 0 ngram: Optional = 2 num_buckets: Optional = 32 relative_max_distance: Optional = 128 disable_ngram_loss: Optional = False eps: Optional = 0.0 use_cache: Optional = True pad_token_id: Optional = 0 bos_token_id: Optional = 1 eos_token_id: Optional = 2 **kwargs )

参数

• activation_dropout（float，可选，默认为 0.1）— 全连接层内激活的丢失比率。
  
• activation_function（str或function，可选，默认为"gelu"）— 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"silu"和"gelu_new"。
  
• vocab_size（int，可选，默认为 30522）— ProphetNET 模型的词汇大小。定义了在调用 ProphetNetModel 时可以表示的不同标记的数量。
  
• hidden_size（int，可选，默认为 1024）— 层和池化器层的维度。
  
• encoder_ffn_dim（int，可选，默认为 4096）— 解码器中“中间”（通常称为前馈）层的维度。
  
• num_encoder_layers（int，可选，默认为 12）— 编码器层数。
  
• num_encoder_attention_heads（int，可选，默认为 16）— Transformer 编码器中每个注意力层的注意力头数。
  
• decoder_ffn_dim (int, 可选, 默认为 4096) — 解码器中intermediate（通常称为前馈）层的维度。
  
• num_decoder_layers (int, 可选, 默认为 12) — 解码器层数。
  
• num_decoder_attention_heads (int, 可选, 默认为 16) — Transformer 解码器中每个注意力层的注意力头数。
  
• attention_dropout (float, 可选, 默认为 0.1) — 注意力概率的丢失比率。
  
• dropout (float, 可选, 默认为 0.1) — 嵌入层、编码器和池化器中所有全连接层的丢失概率。
  
• max_position_embeddings (int, 可选, 默认为 512) — 此模型可能会使用的最大序列长度。通常将其设置为较大的值以防万一（例如，512 或 1024 或 2048）。
  
• init_std (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
  
• add_cross_attention (bool, 可选, 默认为True) — 是否应向模型添加交叉注意力层。
  
• is_encoder_decoder (bool, 可选, 默认为True) — 是否这是一个编码器/解码器模型。
  
• pad_token_id (int, 可选, 默认为 1) — 填充标记 id。
  
• bos_token_id (int, 可选, 默认为 0) — 流的起始标记 id。
  
• eos_token_id (int, 可选, 默认为 2) — 流的结束标记 id。
  
• ngram (int, 可选, 默认为 2) — 预测未来标记的数量。设置为 1 以与传统语言模型相同，以预测下一个第一个标记。
  
• num_buckets (int, 可选, 默认为 32) — 每个注意力层使用的桶数。这是用于相对位置计算的。更多细节请参阅 T5 论文)。
  
• relative_max_distance (int, 可选, 默认为 128) — 大于此数字的相对距离将放入最后一个相同的桶中。这是用于相对位置计算的。更多细节请参阅 T5 论文)。
  
• disable_ngram_loss (bool, 可选, 默认为False) — 是否训练仅预测下一个第一个标记。
  
• eps (float, 可选, 默认为 0.0) — 控制损失计算中标签平滑的epsilon参数值。如果设置为 0，则不执行标签平滑。
  
• use_cache (bool, 可选, 默认为True) — 模型是否应返回最后的键/值注意力（并非所有模型都使用）。
  

这是一个配置类，用于存储 ProphetNetModel 的配置。根据指定的参数实例化 ProphetNet 模型，定义模型架构。使用默认值实例化配置将产生类似于 ProphetNet microsoft/prophetnet-large-uncased架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

ProphetNetTokenizer

class transformers.ProphetNetTokenizer

<来源>

( vocab_file: str do_lower_case: Optional = True do_basic_tokenize: Optional = True never_split: Optional = None unk_token: Optional = '[UNK]' sep_token: Optional = '[SEP]' x_sep_token: Optional = '[X_SEP]' pad_token: Optional = '[PAD]' mask_token: Optional = '[MASK]' tokenize_chinese_chars: Optional = True strip_accents: Optional = None **kwargs )

参数

• vocab_file (str) — 包含词汇表的文件。
  
• do_lower_case (bool, 可选, 默认为True) — 在标记化时是否将输入转换为小写。
  
• do_basic_tokenize (bool, 可选, 默认为True) — 在 WordPiece 之前是否进行基本标记化。
  
• never_split（Iterable，可选）— 在标记化期间永远不会拆分的标记集合。仅在do_basic_tokenize=True时才有效果
  
• unk_token（str，可选，默认为"[UNK]"）— 未知标记。词汇表中不存在的标记无法转换为 ID，而是设置为此标记。
  
• sep_token（str，可选，默认为"[SEP]"）— 分隔符标记，在从多个序列构建序列时使用，例如用于序列分类的两个序列或用于问题回答的文本和问题。它还用作由特殊标记构建的序列的最后一个标记。
  
• x_sep_token（str，可选，默认为"[X_SEP]"）— 特殊的第二个分隔符标记，可以由 ProphetNetForConditionalGeneration 生成。用于在摘要中分隔类似项目符号的句子，例如。
  
• pad_token（str，可选，默认为"[PAD]"）— 用于填充的标记，例如在批处理不同长度的序列时。
  
• mask_token（str，可选，默认为"[MASK]"）— 用于屏蔽值的标记。这是在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
  
• tokenize_chinese_chars（bool，可选，默认为True）— 是否对中文字符进行标记化。
  这可能应该在日语中停用（请参阅此问题）。
  
• strip_accents（bool，可选）— 是否去除所有重音符号。如果未指定此选项，则将由lowercase的值确定（与原始 BERT 相同）。
  

构建一个 ProphetNetTokenizer。基于 WordPiece。

这个分词器继承自 PreTrainedTokenizer，其中包含大部分主要方法。用户应该参考这个超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0（List[int]）— 将添加特殊标记的 ID 列表。
  
• token_ids_1（List[int]，可选）— 序列对的可选第二个 ID 列表。
  

返回

List[int]

具有适当特殊标记的输入 ID 列表。

通过连接和添加特殊标记从序列或序列对构建用于序列分类任务的模型输入。一个 BERT 序列具有以下格式：

• 单个序列：[CLS] X [SEP]
  
• 序列对：[CLS] A [SEP] B [SEP]
  

convert_tokens_to_string

<来源>

( tokens: str )

将一系列标记（字符串）转换为单个字符串。

create_token_type_ids_from_sequences

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0（List[int]）— ID 列表。
  
• token_ids_1（List[int]，可选）— 序列对的可选第二个 ID 列表。
  

返回

List[int]

根据给定序列的标记类型 ID 列表。

从传递的两个序列创建一个用于序列对分类任务的掩码。一个 ProphetNet

序列对掩码具有以下格式：

0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1
| first sequence    | second sequence |

如果token_ids_1是None，这个方法只返回掩码的第一部分（0s）。

get_special_tokens_mask

<来源>

( token_ids_0: List token_ids_1: Optional = None already_has_special_tokens: Optional = False ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0（List[int]）— ID 列表。
  
• token_ids_1（List[int]，可选）— 序列对的第二个 ID 列表。
  
• already_has_special_tokens（bool，可选，默认为False）— 标记列表是否已经使用特殊标记格式化为模型。
  

返回

List[int]

一个整数列表，范围为[0, 1]：1 表示特殊标记，0 表示序列标记。

从没有添加特殊标记的标记列表中检索序列 ID。在使用分词器prepare_for_model方法添加特殊标记时调用此方法。

ProphetNet 特定输出

class transformers.models.prophetnet.modeling_prophetnet.ProphetNetSeq2SeqLMOutput

< source >

( loss: Optional = None logits: FloatTensor = None logits_ngram: Optional = None past_key_values: Optional = None decoder_hidden_states: Optional = None decoder_ngram_hidden_states: Optional = None decoder_attentions: Optional = None decoder_ngram_attentions: Optional = None cross_attentions: Optional = None encoder_last_hidden_state: Optional = None encoder_hidden_states: Optional = None encoder_attentions: Optional = None )

参数

• loss（形状为(1,)的torch.FloatTensor，可选，在提供labels时返回）— 语言建模损失。
  
• logits（形状为(batch_size, decoder_sequence_length, config.vocab_size)的torch.FloatTensor）— 主流语言建模头的预测分数（SoftMax 之前每个词汇标记的分数）。
  
• logits_ngram（形状为(batch_size, ngram * decoder_sequence_length, config.vocab_size)的torch.FloatTensor）— 预测流语言建模头的预测分数（SoftMax 之前每个词汇标记的分数）。
  
• past_key_values（List[torch.FloatTensor]，可选，当传递use_cache=True或config.use_cache=True时返回）— 长度为config.n_layers的torch.FloatTensor列表，每个张量的形状为(2, batch_size, num_attn_heads, decoder_sequence_length, embed_size_per_head)。
  包含预先计算的隐藏状态（注意力块中的键和值）的解码器，可用于加速顺序解码（参见past_key_values输入）。
  
• decoder_hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）— 形状为(batch_size, decoder_sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个层的输出）。
  解码器主流的隐藏状态，在每层的输出以及初始嵌入输出。
  
• decoder_ngram_hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）— 形状为(batch_size, ngram * decoder_sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个层的输出）。
  解码器预测流的隐藏状态，在每层的输出以及初始嵌入输出。
  
• decoder_attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）— 形状为(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)的torch.FloatTensor元组（每层一个）。
  解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  
• decoder_ngram_attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）— 形状为(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)的torch.FloatTensor元组（每层一个）。
  解码器预测流的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  
• cross_attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）— 形状为(batch_size, num_attn_heads, encoder_sequence_length, decoder_sequence_length)的torch.FloatTensor元组（每层一个）。
  解码器的交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算加权平均值
  
• encoder_last_hidden_state（形状为(batch_size, encoder_sequence_length, hidden_size)的torch.FloatTensor，可选） — 模型编码器最后一层的隐藏状态序列。
  
• encoder_hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回） — 形状为(batch_size, encoder_sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每一层的输出）。
  编码器的隐藏状态，在每一层的输出以及初始嵌入输出。
  
• encoder_attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回） — 形状为(batch_size, num_attn_heads, encoder_sequence_length, encoder_sequence_length)的torch.FloatTensor元组（每层一个）。编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  

用于序列到序列语言模型输出的基类。

class transformers.models.prophetnet.modeling_prophetnet.ProphetNetSeq2SeqModelOutput

< source >

( last_hidden_state: FloatTensor last_hidden_state_ngram: Optional = None past_key_values: Optional = None decoder_hidden_states: Optional = None decoder_ngram_hidden_states: Optional = None decoder_attentions: Optional = None decoder_ngram_attentions: Optional = None cross_attentions: Optional = None encoder_last_hidden_state: Optional = None encoder_hidden_states: Optional = None encoder_attentions: Optional = None )

参数

• last_hidden_state（形状为(batch_size, decoder_sequence_length, hidden_size)的torch.FloatTensor） — 模型解码器最后一层的主流隐藏状态序列。
  如果使用past_key_values，则只输出形状为(batch_size, 1, hidden_size)的序列的最后一个隐藏状态。
  
• last_hidden_state_ngram（形状为(batch_size, ngram * decoder_sequence_length, config.vocab_size)的torch.FloatTensor，可选） — 模型解码器最后一层的预测流隐藏状态序列。
  
• past_key_values（List[torch.FloatTensor]，可选，当传递use_cache=True或config.use_cache=True时返回） — 长度为config.n_layers的torch.FloatTensor列表，每个张量的形状为(2, batch_size, num_attn_heads, decoder_sequence_length, embed_size_per_head)。
  包含解码器的预先计算隐藏状态（注意力块中的键和值），可以用于加速顺序解码（查看past_key_values输入）。
  
• decoder_hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回） — 形状为(batch_size, decoder_sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每一层的输出）。
  解码器主流的隐藏状态，在每一层的输出以及初始嵌入输出。
  
• decoder_ngram_hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回） — 形状为(batch_size, ngram * decoder_sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每一层的输出）。
  解码器的预测流的隐藏状态，在每一层的输出以及初始嵌入输出。
  
• decoder_attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回） — 形状为(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)的torch.FloatTensor元组（每层一个）。
  解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  
• decoder_ngram_attentions (tuple(torch.FloatTensor), 可选的, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)的torch.FloatTensor元组（每层一个）。
  解码器预测流的注意力权重，在注意力 softmax 之后，用于计算加权平均值。
  
• cross_attentions (tuple(torch.FloatTensor), 可选的, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_attn_heads, encoder_sequence_length, decoder_sequence_length)的torch.FloatTensor元组（每层一个）。
  解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算加权平均值。
  
• encoder_last_hidden_state (torch.FloatTensor，形状为(batch_size, encoder_sequence_length, hidden_size)，可选的) — 模型编码器最后一层的隐藏状态序列。
  
• encoder_hidden_states (tuple(torch.FloatTensor), 可选的, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, encoder_sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每层的输出）。
  编码器在每层的输出以及初始嵌入输出的隐藏状态。
  
• encoder_attentions (tuple(torch.FloatTensor), 可选的, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_attn_heads, encoder_sequence_length, encoder_sequence_length)的torch.FloatTensor元组（每层一个）。
  编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  

模型编码器输出的基类，还包含：可加速顺序解码的预计算隐藏状态。

class transformers.models.prophetnet.modeling_prophetnet.ProphetNetDecoderModelOutput

<来源>

( last_hidden_state: FloatTensor last_hidden_state_ngram: Optional = None past_key_values: Optional = None hidden_states: Optional = None hidden_states_ngram: Optional = None attentions: Optional = None ngram_attentions: Optional = None cross_attentions: Optional = None )

参数

• last_hidden_state (torch.FloatTensor，形状为(batch_size, decoder_sequence_length, hidden_size)) — 模型解码器最后一层的主流隐藏状态序列。
  如果使用past_key_values，则只输出形状为(batch_size, 1, hidden_size)的序列的最后一个隐藏状态。
  
• last_hidden_state_ngram (torch.FloatTensor，形状为(batch_size, ngram * decoder_sequence_length, config.vocab_size)) — 模型解码器最后一层输出的预测流隐藏状态序列。
  
• past_key_values (List[torch.FloatTensor], 可选的, 当传递use_cache=True或config.use_cache=True时返回) — 长度为config.n_layers的torch.FloatTensor列表，每个张量的形状为(2, batch_size, num_attn_heads, decoder_sequence_length, embed_size_per_head)。
  包含解码器的预计算隐藏状态（注意力块中的键和值），可用于加速顺序解码。
  
• hidden_states (tuple(torch.FloatTensor), 可选的, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, decoder_sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每层的输出）。
  解码器主流的隐藏状态，在每层的输出以及初始嵌入输出。
  
• ngram_hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — torch.FloatTensor元组（每层一个，包括嵌入层和每一层的输出），形状为(batch_size, ngram * decoder_sequence_length, hidden_size)。
  解码器预测流每一层输出的隐藏状态加上初始嵌入输出。
  
• attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — torch.FloatTensor元组（每层一个），形状为(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)。
  解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  
• ngram_attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — torch.FloatTensor元组（每层一个），形状为(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)。
  解码器预测流的注意力权重，在注意力 softmax 之后，用于计算加权平均值
  
• cross_attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — torch.FloatTensor元组（每层一个），形状为(batch_size, num_attn_heads, encoder_sequence_length, decoder_sequence_length)。
  解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算加权平均值
  

模型输出的基类，可能还包含过去的键/值（用于加速顺序解码）。

class transformers.models.prophetnet.modeling_prophetnet.ProphetNetDecoderLMOutput

<来源>

( loss: Optional = None logits: FloatTensor = None logits_ngram: Optional = None past_key_values: Optional = None hidden_states: Optional = None hidden_states_ngram: Optional = None attentions: Optional = None ngram_attentions: Optional = None cross_attentions: Optional = None )

参数

• loss (torch.FloatTensor，形状为(1,)，optional, 当提供labels时返回) — 语言建模损失。
  
• logits (torch.FloatTensor，形状为(batch_size, decoder_sequence_length, config.vocab_size)) — 主流语言建模头的预测分数（SoftMax 之前每个词汇标记的分数）。
  
• logits_ngram (torch.FloatTensor，形状为(batch_size, ngram * decoder_sequence_length, config.vocab_size)) — 预测流语言建模头的预测分数（SoftMax 之前每个词汇标记的分数）。
  
• past_key_values (List[torch.FloatTensor], optional, 当传递use_cache=True或config.use_cache=True时返回) — 长度为config.n_layers的torch.FloatTensor列表，每个张量形状为(2, batch_size, num_attn_heads, decoder_sequence_length, embed_size_per_head)。
  包含解码器的预先计算的隐藏状态（注意力块中的键和值），可用于加速顺序解码（参见past_key_values输入）。
  
• hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — torch.FloatTensor元组（每层一个，包括嵌入层和每一层的输出），形状为(batch_size, decoder_sequence_length, hidden_size)。
  解码器主流每一层输出的隐藏状态加上初始嵌入输出。
  
• ngram_hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — torch.FloatTensor元组（每层一个，包括嵌入层和每一层的输出），形状为(batch_size, ngram * decoder_sequence_length, hidden_size)。
  解码器预测流每一层输出的隐藏状态加上初始嵌入输出。
  
• attentions (tuple(torch.FloatTensor), 可选, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)的torch.FloatTensor元组（每层一个）。
  解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  
• ngram_attentions (tuple(torch.FloatTensor), 可选, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)的torch.FloatTensor元组（每层一个）。
  在注意力 softmax 之后的解码器预测流的注意力权重，用于计算加权平均值
  
• cross_attentions (tuple(torch.FloatTensor), 可选, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_attn_heads, encoder_sequence_length, decoder_sequence_length)的torch.FloatTensor元组（每层一个）。
  解码器的交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算加权平均值
  

模型输出的基类，可能还包含过去的键/值（以加速顺序解码）。

Transformers 4.37 中文文档（五十二）（2）https://developer.aliyun.com/article/1565280