Transformers 4.37 中文文档（四十四）（1）-阿里云开发者社区

原文：huggingface.co/docs/transformers

MEGA

原始文本：huggingface.co/docs/transformers/v4.37.2/en/model_doc/mega

概述

MEGA 模型是由 Xuezhe Ma、Chunting Zhou、Xiang Kong、Junxian He、Liangke Gui、Graham Neubig、Jonathan May 和 Luke Zettlemoyer 在Mega: Moving Average Equipped Gated Attention中提出的。MEGA 提出了一种新的自注意力方法，每个编码器层除了具有标准点积注意力的单头之外，还具有多头指数移动平均，使得注意机制具有更强的位置偏差。这使得 MEGA 在标准基准测试中表现出色，包括 LRA，同时参数数量明显较少。MEGA 的计算效率使其能够扩展到非常长的序列，使其成为处理长文档 NLP 任务的有吸引力的选择。

论文摘要如下：

Transformer 注意力机制中的设计选择，包括弱归纳偏差和二次计算复杂性，限制了其对建模长序列的应用。在本文中，我们介绍了 Mega，一个简单、理论上基础的、单头门控注意力机制，配备（指数）移动平均，以将位置感知的局部依赖的归纳偏差纳入位置不可知的注意力机制中。我们进一步提出了 Mega 的一个变体，提供线性时间和空间复杂度，但仅产生最小的质量损失，通过将整个序列有效地分割成多个具有固定长度的块。广泛的实验涵盖了各种序列建模基准，包括长距离竞技场、神经机器翻译、自回归语言建模以及图像和语音分类，表明 Mega 在其他序列模型上取得了显著的改进，包括 Transformer 的变体和最近的状态空间模型。

这个模型是由mnaylor贡献的。原始代码可以在这里找到。

使用提示

MEGA 可以用相对较少的参数表现得相当不错。请参阅 MEGA 论文附录 D 中的架构规格示例，这些示例在各种设置中表现良好。如果将 MEGA 用作解码器，请确保设置bidirectional=False以避免默认双向错误。
Mega-chunk 是 mega 的一个变体，将时间和空间复杂度从二次降低到线性。使用 MegaConfig.use_chunking 进行分块，并使用 MegaConfig.chunk_size 控制块大小。

实现说明

MEGA 的原始实现在填充和因果自注意力的注意蒙版之间对注意力掩码的期望不一致。此实现解决了这种不一致性。
原始实现不包括令牌类型嵌入；此实现添加了对这些的支持，选项由 MegaConfig.add_token_type_embeddings 控制。

MegaConfig

`class transformers.MegaConfig`

<来源>

( vocab_size = 30522 hidden_size = 128 num_hidden_layers = 4 intermediate_size = 256 ema_projection_size = 16 bidirectional = True shared_representation_size = 64 use_chunking = False chunk_size = -1 truncation = None normalize_before_mega = True normalization_type = 'scalenorm' norm_affine = True activation = 'silu' attention_activation = 'softmax' dropout_prob = 0.1 hidden_dropout_prob = 0.1 attention_probs_dropout_prob = 0.1 use_feature_dropout = False use_normalized_ffn = True nffn_hidden_size = 256 normalize_before_ffn = True nffn_activation_dropout_prob = 0.1 max_positions = 2048 add_token_type_embeddings = False type_vocab_size = 2 initializer_range = 0.02 ema_delta_alpha_range = 0.2 ema_beta_range = 0.02 ema_gamma_omega_range = 1.0 pad_token_id = 1 bos_token_id = 0 eos_token_id = 2 relative_positional_bias = 'rotary' classifier_dropout = None use_cache = True add_lm_hidden_dense_layer = True **kwargs )

参数

vocab_size (int, 可选, 默认为 30522) — Mega 模型的词汇量。定义了在调用 MegaModel 时传递的inputs_ids可以表示的不同令牌数量。
hidden_size (int, 可选, 默认为 128) — 编码器层和池化层的维度。
num_hidden_layers (int, 可选, 默认为 4) — Mega 编码器中的隐藏层数量。
intermediate_size (int, 可选, 默认为 256) — Mega 编码器中隐藏大小（自注意力值投影）的维度
ema_projection_size (int, 可选, 默认为 16) — MegaMultiDimensionDampedEma 的维度
bidirectional (bool, optional, defaults to True) — Mega 的自注意力中使用的 MegaMultiDimensionDampedEma 是否应双向工作 (True) 还是单向工作 (False)。双向 EMA 与因果解码不兼容，因此如果您打算将模型用作解码器，则应将其设置为 False。
shared_representation_size (int, optional, defaults to 64) — 用于自注意力查询和键的共享表示的线性投影的维度
use_chunking (bool, optional, defaults to False) — 是否对线性自注意力复杂度进行分块输入（在论文中描述为 Mega-chunk）
chunk_size (int, optional, defaults to -1) — 如果 use_chunking 设置为 True，确定应用于输入序列的块的大小。如果使用分块，输入序列必须填充为 chunk_size 的倍数
truncation (int, optional) — 如果指定，用于截断 MegaMultiDimensionDampedEma 的序列长度
normalize_before_mega (bool, optional, defaults to True) — 是否在通过 Mega 编码器块之前 (True) 或之后 (False) 归一化
normalization_type (str, optional, defaults to "scalenorm") — 在 Mega 编码器块中使用的归一化类型。选择 "scalenorm", "layernorm", "rmsnorm", "batchnorm", 或 "syncbatchnorm"（需要 GPU 支持 syncbatchnorm）
norm_affine (bool, optional, defaults to True) — 如果为 True，在归一化期间对输入应用参数化的仿射变换
activation (str, optional, defaults to "silu") — 在 Mega 编码器块内应用的激活函数。选择 "silu", "relu", "linear", "gelu", 或 "gelu_accurate" 中的一个
attention_activation (str, optional, defaults to "softmax") — 用于单头自注意力（类似 Transformer）的激活函数。选择 "softmax", "laplace", 或 "relu2" 中的一个
dropout_prob (float, optional, defaults to 0.1) — EMA 自注意力的丢弃概率
hidden_dropout_prob (float, optional, defaults to 0.1) — 嵌入层、编码器和池化器中所有全连接层的丢弃概率
attention_probs_dropout_prob (float, optional, defaults to 0.1) — 注意力概率的丢弃比率
use_feature_dropout (bool, optional, defaults to False) — 是否使用基于特征的 (True) 或标准的丢弃 (False)
use_normalized_ffn (bool, optional, defaults to True) — 是否在 Mega 块中使用归一化的前馈子层 (True) 或将 Mega 编码器输出直接传递 (False)
nffn_hidden_size (int, optional, defaults to 256) — 如果在 Mega 中使用归一化的前馈网络（NFFN）层 (use_normalized_ffn = True)，则这是 NFFN 的隐藏大小
normalize_before_ffn (bool, optional, defaults to True) — 是否在前馈部分之前 (True) 或之后 (False) 归一化 NFFN
nffn_activation_dropout_prob (float, optional, defaults to 0.1) — NFFN 组件的丢弃比率
max_positions (int, optional, defaults to 2048) — 用于位置表示的最大序列长度。对于 "simple" 相对位置偏差，这是输入长度的硬限制； "rotary" 相对位置偏差将推断到更长的序列
add_token_type_embeddings (bool, optional, defaults to True) — 是否在嵌入中考虑令牌类型。保持可选以保持与原始实现的兼容性，同时添加对令牌类型的支持
type_vocab_size (int, optional, defaults to 2) — 在调用 MegaModel 时传递的 token_type_ids 的词汇表大小。仅在 add_token_type_embeddings = True 时使用
initializer_range (float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
ema_delta_alpha_range (float, optional, defaults to 0.2) — 用于初始化 MegaMultiDimensionDampedEma 中 delta（阻尼因子）和 alpha（衰减因子）参数的标准差。
ema_beta_range (float, optional, defaults to 0.02) — 用于初始化 MegaMultiDimensionDampedEma 中 beta 参数（扩展矩阵）的标准差。
ema_gamma_omega_range (float, optional, defaults to 1.0) — 用于初始化 MultiDimensionEMA 中 gamma（投影矩阵）和 omega（残差权重）参数的标准差。
relative_positional_bias (str, optional, defaults to "rotary") — 相对位置编码的类型。选择"rotary"或"simple"之一。如果选择"simple"，则max_positions用作输入大小的限制，而"rotary"则超出max_positions。
is_decoder (bool, optional, defaults to False) — 模型是否用作解码器。如果为False，则模型用作编码器。
use_cache (bool, optional, defaults to True) — 模型是否应返回最后的键/值注意力（并非所有模型都使用）。仅在config.is_decoder=True时相关。
classifier_dropout (float, optional) — 分类头部的 dropout 比率。
add_lm_hidden_dense_layer (bool, optional, defaults to True) — 是否在编码器输出和 LM 头部之间包含一个隐藏层进行投影（True），或直接将隐藏状态传递给 LM 头部（False）。为了与原始实现兼容，保持可选。

这是用于存储 MegaModel 配置的配置类。根据指定的参数实例化 Mega 模型，定义模型架构。使用默认值实例化配置将产生类似于 Megamnaylor/mega-base-wikitext架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import MegaConfig, MegaModel
>>> # Initializing a Mega configuration
>>> configuration = MegaConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = MegaModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

MegaModel

`class transformers.MegaModel`

< source >

( config: MegaConfig add_pooling_layer = True )

参数

config (MegaConfig) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

裸 MEGA 模型，输出原始隐藏状态，没有特定的头部。

此模型继承自 PreTrainedModel。查看超类文档，了解库为所有模型实现的通用方法（如下载或保存、调整输入嵌入、修剪头等）。

此模型也是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有信息。

模型可以作为编码器（仅具有自注意力）以及解码器运行，此时在自注意力之后添加了一层交叉注意力，遵循Xuezhe Ma, Chunting Zhou, Xiang Kong, Junxian He, Liangke Gui, Graham Neubig, Jonathan May 和 Luke Zettlemoyer描述的架构。

要作为解码器运行，模型需要使用配置中的is_decoder参数设置为True和bidirectional设置为False进行初始化。要在 Seq2Seq 模型中使用，模型需要使用is_decoder=True和bidirectional=False参数进行初始化，并将add_cross_attention设置为True；然后预期将encoder_hidden_states作为输入传递。

… _Mega: Moving Average Equipped Gated Attention: arxiv.org/abs/2209.10655

`forward`

<来源>

( input_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None inputs_embeds: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None past_key_values: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions or tuple(torch.FloatTensor)

参数

input_ids（形状为(batch_size, sequence_length)的torch.LongTensor）— 输入序列标记在词汇表中的索引。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参见 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
什么是输入 ID？
attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）— 用于避免在填充标记索引上执行注意力的掩码。掩码值选在[0,1]之间：

1 用于未被“掩码”的标记，
0 用于被“掩码”的标记。

什么是注意力掩码？
token_type_ids（形状为(batch_size, sequence_length)的torch.LongTensor，可选）— 段标记索引，指示输入的第一部分和第二部分。索引选在[0,1]之间：

0 对应于句子 A标记，
1 对应于句子 B标记。当模型初始化时使用add_token_type_embeddings参数设置为True时才能使用此参数。此张量中的所有值应始终小于config.type_vocab_size。

什么是标记类型 ID？
inputs_embeds（形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可选）— 可选地，您可以选择直接传递嵌入表示而不是传递input_ids。如果您希望更好地控制如何将input_ids索引转换为相关向量，可以使用此选项，而不是使用模型的内部嵌入查找矩阵。
output_attentions（bool，可选）— 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量中的attentions。
output_hidden_states（bool，可选）— 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量中的hidden_states。
return_dict（bool，可选）— 是否返回 ModelOutput 而不是普通元组。
encoder_hidden_states（形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可选）— 编码器最后一层的隐藏状态序列。如果模型配置为解码器，则在交叉注意力中使用。
encoder_attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）— 用于避免在编码器输入的填充标记索引上执行注意力的掩码。如果模型配置为解码器，则在交叉注意力中使用此掩码。掩码值选在[0, 1]之间：

1 用于未被“掩码”的标记，
0 用于被“掩码”的标记。

past_key_values（长度为config.n_layers的tuple(tuple(torch.FloatTensor))，每个元组有 4 个形状为(batch_size, num_heads, sequence_length - 1, embed_size_per_head)的张量）— 包含注意力块的预计算键和值隐藏状态。可用于加速解码。
如果使用past_key_values，用户可以选择只输入形状为(batch_size, 1)的最后decoder_input_ids（那些没有将它们的过去键值状态提供给此模型的）而不是形状为(batch_size, sequence_length)的所有decoder_input_ids。
use_cache（bool，可选）— 如果设置为True，将返回past_key_values键值状态，可用于加速解码（参见past_key_values）。

transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions 或tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions 或一个torch.FloatTensor元组（如果传递了return_dict=False或当config.return_dict=False时）包括根据配置（MegaConfig）和输入的各种元素。

last_hidden_state（形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor）— 模型最后一层的隐藏状态序列。
pooler_output（形状为(batch_size, hidden_size)的torch.FloatTensor）— 经过用于辅助预训练任务的层进一步处理后的序列的第一个标记（分类标记）的最后一层隐藏状态。例如，对于 BERT 系列模型，这返回经过线性层和 tanh 激活函数处理后的分类标记。线性层权重是从预训练期间的下一个句子预测（分类）目标中训练的。
hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或当config.output_hidden_states=True时返回）— 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（如果模型有嵌入层的输出一个，+每层的输出一个）。
模型在每一层输出的隐藏状态加上可选的初始嵌入输出。
attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或当config.output_attentions=True时返回）— 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
cross_attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True和config.add_cross_attention=True或当config.output_attentions=True时返回）— 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
解码器的交叉注意力层的注意力权重，注意力 softmax 后用于计算交叉注意力头中的加权平均值。
past_key_values（tuple(tuple(torch.FloatTensor))，可选，当传递use_cache=True或当config.use_cache=True时返回）— 长度为config.n_layers的tuple(torch.FloatTensor)元组，每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)的张量，如果config.is_encoder_decoder=True还有 2 个额外的形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)的张量。
包含预先计算的隐藏状态（自注意力块中的键和值以及在交叉注意力块中可选地使用config.is_encoder_decoder=True）可用于加速顺序解码（请参见past_key_values输入）。

MegaModel 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的配方需要在此函数内定义，但应该在此之后调用Module实例，而不是在此之后调用，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。

示例：

>>> from transformers import AutoTokenizer, MegaModel
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("mnaylor/mega-base-wikitext")
>>> model = MegaModel.from_pretrained("mnaylor/mega-base-wikitext")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state

MegaForCausalLM

`class transformers.MegaForCausalLM`

<来源>

( config: MegaConfig )

参数

config（MegaConfig）— 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

MEGA 模型在顶部具有语言建模头部，用于 CLM 微调。

此模型继承自 PreTrainedModel。查看超类文档以了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入、修剪头等）。

此模型还是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

`forward`

<来源>

( input_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None inputs_embeds: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None labels: Optional = None past_key_values: Tuple = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.CausalLMOutputWithCrossAttentions or tuple(torch.FloatTensor)

参数

input_ids（形状为(batch_size, sequence_length)的torch.LongTensor）— 词汇表中输入序列标记的索引。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
什么是输入 ID？
attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）— 用于避免在填充标记索引上执行注意力的掩码。选择的掩码值在[0,1]中：

对于未被masked的标记为 1，
对于被masked的标记为 0。

什么是注意力掩码？
token_type_ids（形状为(batch_size, sequence_length)的torch.LongTensor，可选）— 段标记索引，用于指示输入的第一部分和第二部分。索引在[0,1]中选择：

0 对应于句子 A标记，
1 对应于句子 B标记。只有在使用add_token_type_embeddings参数初始化模型时才能使用此参数。此张量中的所有值应始终小于config.type_vocab_size。

什么是标记类型 ID？
inputs_embeds（形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可选）— 可选地，您可以直接传递嵌入表示，而不是传递input_ids。如果您想要更多控制如何将input_ids索引转换为相关向量，而不是使用模型的内部嵌入查找矩阵，则这很有用。
output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量中的attentions。
output_hidden_states（bool，可选）— 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的hidden_states。
return_dict（bool，可选）— 是否返回 ModelOutput 而不是普通元组。
encoder_hidden_states（torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，可选）— 编码器最后一层的隐藏状态序列。如果模型配置为解码器，则在交叉注意力中使用。
encoder_attention_mask（torch.FloatTensor，形状为(batch_size, sequence_length)，可选）— 用于避免在编码器输入的填充标记索引上执行注意力的掩码。如果模型配置为解码器，则在交叉注意力中使用此掩码。掩码值选在[0, 1]之间：

对于未被masked的标记为1。
对于被masked的标记为0。

labels（torch.LongTensor，形状为(batch_size, sequence_length)，可选）— 用于计算从左到右的语言建模损失（下一个单词预测）的标签。索引应在[-100, 0, ..., config.vocab_size]之间（参见input_ids文档字符串）。索引设置为-100的标记将被忽略（掩码），损失仅计算具有标签在[0, ..., config.vocab_size]中的标记。
past_key_values（长度为config.n_layers的tuple(tuple(torch.FloatTensor))，每个元组包含形状为(batch_size, num_heads, sequence_length - 1, embed_size_per_head)的 4 个张量）— 包含注意力块的预计算键和值隐藏状态。可用于加速解码。
如果使用了past_key_values，用户可以选择仅输入最后的decoder_input_ids（即没有将其过去的键值状态提供给此模型的那些）的形状为(batch_size, 1)的张量，而不是形状为(batch_size, sequence_length)的所有decoder_input_ids。
use_cache（bool，可选）— 如果设置为True，则返回past_key_values键值状态，可用于加速解码（参见past_key_values）。

返回值

transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False，或者当config.return_dict=False时）包含根据配置（MegaConfig）和输入的不同元素。

loss（torch.FloatTensor，形状为(1,)，可选，当提供labels时返回）— 语言建模损失（用于下一个标记预测）。
logits（torch.FloatTensor，形状为(batch_size, sequence_length, config.vocab_size)）— 语言建模头的预测分数（SoftMax 之前每个词汇标记的分数）。
hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）— 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（如果模型具有嵌入层的输出，则为一个，每个层的输出为一个）。
模型在每一层输出的隐藏状态以及可选的初始嵌入输出。
attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）— 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
在自注意力头中用于计算加权平均值的注意力权重之后的注意力 softmax。
cross_attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每层一个）。
在跨注意力 softmax 之后的注意力权重，用于计算跨注意力头中的加权平均值。
past_key_values (tuple(tuple(torch.FloatTensor)), optional, 当传递 use_cache=True 或 config.use_cache=True 时返回) — 长度为 config.n_layers 的 torch.FloatTensor 元组的元组，每个元组包含自注意力和跨注意力层的缓存键、值状态。仅在 config.is_decoder = True 时相关。
包含预先计算的隐藏状态（注意力块中的键和值），可用于加速顺序解码。

MegaForCausalLM 的前向方法，覆盖了 __call__ 特殊方法。

虽然前向传递的方法需要在此函数内定义，但应该在之后调用 Module 实例而不是此函数，因为前者会处理运行前后处理步骤，而后者会默默忽略它们。

示例：

>>> from transformers import AutoTokenizer, MegaForCausalLM, AutoConfig
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("mnaylor/mega-base-wikitext")
>>> config = AutoConfig.from_pretrained("mnaylor/mega-base-wikitext")
>>> config.is_decoder = True
>>> config.bidirectional = False
>>> model = MegaForCausalLM.from_pretrained(
...     "mnaylor/mega-base-wikitext", config=config, ignore_mismatched_sizes=True
... )
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs)
>>> prediction_logits = outputs.logits

MegaForMaskedLM

`class transformers.MegaForMaskedLM`

<来源>

( config: MegaConfig )

参数

config (MegaConfig) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只加载配置。查看 from_pretrained() 方法以加载模型权重。

带有顶部 语言建模 的 MEGA 模型。

此模型继承自 PreTrainedModel。查看超类文档以了解库为所有模型实现的通用方法（如下载或保存、调整输入嵌入、修剪头等）。

此模型也是 PyTorch torch.nn.Module 的子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般使用和行为的所有相关信息。

`forward`

<来源>

( input_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None inputs_embeds: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.MaskedLMOutput or tuple(torch.FloatTensor)

参数

input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
什么是输入 ID？
attention_mask (torch.FloatTensor of shape (batch_size, sequence_length), optional) — 用于避免在填充标记索引上执行注意力的掩码。掩码值选择在 [0, 1] 之间：

对于未被屏蔽的标记为 1，
对于被屏蔽的标记为 0。

什么是注意力掩码？
token_type_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 段标记索引，指示输入的第一部分和第二部分。索引在 [0,1] 中选择：

0 对应于 句子 A 标记，
1 对应于一个句子 B标记。只有在模型初始化时使用add_token_type_embeddings参数设置为True时才能使用此参数。此张量中的所有值应始终 < config.type_vocab_size。

什么是 token type IDs?
inputs_embeds (torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，optional) — 可选地，可以直接传递嵌入表示，而不是传递input_ids。如果您想要更多控制如何将input_ids索引转换为相关向量，而不是使用模型的内部嵌入查找矩阵，这很有用。
output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。
return_dict (bool, optional) — 是否返回一个 ModelOutput 而不是一个普通的元组。
labels (torch.LongTensor，形状为(batch_size, sequence_length)，optional) — 用于计算掩码语言建模损失的标签。索引应在[-100, 0, ..., config.vocab_size]内（参见input_ids文档字符串）。索引设置为-100的标记将被忽略（掩码），损失仅计算具有标签在[0, ..., config.vocab_size]中的标记。
kwargs (Dict[str, any], optional, 默认为*{}*) — 用于隐藏已被弃用的旧参数。

transformers.modeling_outputs.MaskedLMOutput 或tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.MaskedLMOutput 或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False时）包含各种元素，这取决于配置（MegaConfig）和输入。

loss (torch.FloatTensor，形状为(1,)，optional，当提供labels时返回) — 掩码语言建模（MLM）损失。
logits (torch.FloatTensor，形状为(batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前每个词汇标记的分数）。
hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（如果模型有嵌入层的输出，则为嵌入的输出+每个层的输出）。
模型在每一层输出的隐藏状态以及可选的初始嵌入输出。
attentions (tuple(torch.FloatTensor)，optional，当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
在注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

MegaForMaskedLM 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的配方需要在此函数内定义，但应该在此之后调用Module实例，而不是这个，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoTokenizer, MegaForMaskedLM
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("mnaylor/mega-base-wikitext")
>>> model = MegaForMaskedLM.from_pretrained("mnaylor/mega-base-wikitext")
>>> inputs = tokenizer("The capital of France is <mask>.", return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # retrieve index of <mask>
>>> mask_token_index = (inputs.input_ids == tokenizer.mask_token_id)[0].nonzero(as_tuple=True)[0]
>>> predicted_token_id = logits[0, mask_token_index].argmax(axis=-1)
>>> tokenizer.decode(predicted_token_id)
' Paris'
>>> labels = tokenizer("The capital of France is Paris.", return_tensors="pt")["input_ids"]
>>> # mask labels of non-<mask> tokens
>>> labels = torch.where(inputs.input_ids == tokenizer.mask_token_id, labels, -100)
>>> outputs = model(**inputs, labels=labels)
>>> round(outputs.loss.item(), 2)
0.1

Transformers 4.37 中文文档（四十四）（2）https://developer.aliyun.com/article/1565204

Transformers 4.37 中文文档（四十四）（1）

MEGA

概述

使用提示

实现说明

MegaConfig

`class transformers.MegaConfig`

MegaModel

`class transformers.MegaModel`

`forward`

MegaForCausalLM

`class transformers.MegaForCausalLM`

`forward`

MegaForMaskedLM

`class transformers.MegaForMaskedLM`

`forward`

热门文章

最新文章

相关课程

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

Transformers 4.37 中文文档（四十四）（1）

概述

使用提示

实现说明

MegaConfig

class transformers.MegaConfig

MegaModel

class transformers.MegaModel

forward

MegaForCausalLM

class transformers.MegaForCausalLM

forward

MegaForMaskedLM

class transformers.MegaForMaskedLM

forward

热门文章

最新文章

相关课程

相关电子书

`class transformers.MegaConfig`

`class transformers.MegaModel`

`forward`

`class transformers.MegaForCausalLM`

`forward`

`class transformers.MegaForMaskedLM`

`forward`