Transformers 4.37 中文文档（六十八）（4）-阿里云开发者社区

Transformers 4.37 中文文档（六十八）（3）https://developer.aliyun.com/article/1564093

LevitForImageClassification

`class transformers.LevitForImageClassification`

( config )

参数

config（LevitConfig） — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

Levit 模型，顶部带有图像分类头（在池化特征的顶部有一个线性层），例如用于 ImageNet。

这个模型是 PyTorch 的torch.nn.Module子类。将其用作常规的 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有信息。

`forward`

<来源>

( pixel_values: FloatTensor = None labels: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.ImageClassifierOutputWithNoAttention or tuple(torch.FloatTensor)

参数

pixel_values（形状为(batch_size, num_channels, height, width)的torch.FloatTensor） — 像素值。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 LevitImageProcessor.call()。
output_hidden_states（bool，可选） — 是否返回所有层的隐藏状态。有关更多详细信息，请查看返回张量下的hidden_states。
return_dict（bool，可选） — 是否返回一个 ModelOutput 而不是一个普通的元组。
labels（形状为(batch_size,)的torch.LongTensor，可选） — 用于计算图像分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]范围内。如果config.num_labels == 1，则计算回归损失（均方损失），如果config.num_labels > 1，则计算分类损失（交叉熵）。

transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False时）包含各种元素，这取决于配置（LevitConfig）和输入。

loss（形状为(1,)的torch.FloatTensor，可选，在提供labels时返回） — 分类（如果config.num_labels==1则为回归）损失。
logits（形状为(batch_size, config.num_labels)的torch.FloatTensor） — 分类（如果config.num_labels==1则为回归）得分（SoftMax 之前）。
hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回） — 形状为(batch_size, num_channels, height, width)的torch.FloatTensor元组。模型在每个阶段输出的隐藏状态（也称为特征图）。

LevitForImageClassification 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的方法需要在此函数内定义，但应该在之后调用Module实例，而不是调用此函数，因为前者会处理运行预处理和后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoImageProcessor, LevitForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/levit-128S")
>>> model = LevitForImageClassification.from_pretrained("facebook/levit-128S")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tabby, tabby cat

LevitForImageClassificationWithTeacher

`class transformers.LevitForImageClassificationWithTeacher`

<来源>

( config )

参数

config（LevitConfig）— 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

LeViT 模型变压器，顶部带有图像分类头（最终隐藏状态顶部的线性层和蒸馏令牌最终隐藏状态顶部的线性层），例如用于 ImageNet。… 警告:: 此模型仅支持推断。尚不支持使用蒸馏（即使用教师）进行微调。

此模型是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

`forward`

<来源>

( pixel_values: FloatTensor = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.models.levit.modeling_levit.LevitForImageClassificationWithTeacherOutput or tuple(torch.FloatTensor)

参数

pixel_values（形状为(batch_size, num_channels, height, width)的torch.FloatTensor）— 像素值。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 LevitImageProcessor.call()。
output_hidden_states（bool，可选）— 是否返回所有层的隐藏状态。有关更多详细信息，请查看返回张量下的hidden_states。
return_dict（bool，可选）— 是否返回 ModelOutput 而不是普通元组。

transformers.models.levit.modeling_levit.LevitForImageClassificationWithTeacherOutput或tuple(torch.FloatTensor)

一个transformers.models.levit.modeling_levit.LevitForImageClassificationWithTeacherOutput或一个torch.FloatTensor元组（如果传递了return_dict=False或config.return_dict=False时）包含各种元素，取决于配置（LevitConfig）和输入。

logits（形状为(batch_size, config.num_labels)的torch.FloatTensor）— 预测分数，作为cls_logits和distillation_logits的平均值。
cls_logits（形状为(batch_size, config.num_labels)的torch.FloatTensor）— 分类头的预测分数（即类令牌最终隐藏状态顶部的线性层）。
distillation_logits（形状为(batch_size, config.num_labels)的torch.FloatTensor）— 蒸馏头的预测分数（即蒸馏令牌最终隐藏状态顶部的线性层）。
hidden_states (tuple(torch.FloatTensor), 可选的，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入的输出 + 一个用于每个层的输出）。模型在每个层的输出以及初始嵌入输出的隐藏状态。

LevitForImageClassificationWithTeacher 的前向方法，覆盖了 __call__ 特殊方法。

虽然前向传递的方法需要在这个函数内定义，但应该在此之后调用 Module 实例，而不是这个，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。

示例：

>>> from transformers import AutoImageProcessor, LevitForImageClassificationWithTeacher
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/levit-128S")
>>> model = LevitForImageClassificationWithTeacher.from_pretrained("facebook/levit-128S")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tabby, tabby cat

Mask2Former

原文链接：huggingface.co/docs/transformers/v4.37.2/en/model_doc/mask2former

概览

Mask2Former 模型是由 Bowen Cheng、Ishan Misra、Alexander G. Schwing、Alexander Kirillov、Rohit Girdhar 在Masked-attention Mask Transformer for Universal Image Segmentation中提出的。Mask2Former 是一个统一的全景、实例和语义分割框架，相比于 MaskFormer 具有显著的性能和效率改进。

来自论文的摘要如下：

图像分割将具有不同语义的像素分组，例如类别或实例成员资格。每种语义选择定义了一个任务。虽然每个任务的语义不同，但当前的研究重点是为每个任务设计专门的架构。我们提出了 Masked-attention Mask Transformer（Mask2Former），这是一种新的架构，能够处理任何图像分割任务（全景、实例或语义）。其关键组件包括掩码注意力，通过限制在预测掩码区域内的交叉注意力来提取局部特征。除了将研究工作量至少减少三倍外，它在四个流行数据集上的表现明显优于最佳专门架构。值得注意的是，Mask2Former 在全景分割（COCO 上的 57.8 PQ）、实例分割（COCO 上的 50.1 AP）和语义分割（ADE20K 上的 57.7 mIoU）方面取得了新的最先进水平。

Mask2Former 架构。取自原始论文。

这个模型由Shivalika Singh和Alara Dirik贡献。原始代码可以在这里找到。

使用提示

Mask2Former 使用与 MaskFormer 相同的预处理和后处理步骤。使用 Mask2FormerImageProcessor 或 AutoImageProcessor 来为模型准备图像和可选目标。
要获得最终的分割结果，取决于任务，您可以调用 post_process_semantic_segmentation()或 post_process_instance_segmentation()或 post_process_panoptic_segmentation()。所有这三个任务都可以使用 Mask2FormerForUniversalSegmentation 的输出来解决，全景分割接受一个可选的label_ids_to_fuse参数，以将目标对象（例如天空）的实例合并在一起。

资源

一系列官方 Hugging Face 和社区（由🌎表示）资源，可帮助您开始使用 Mask2Former。

关于在自定义数据上进行推理+微调 Mask2Former 的演示笔记本可以在这里找到。

如果您有兴趣提交资源以包含在这里，请随时打开一个 Pull Request，我们将进行审核。资源应该理想地展示一些新东西，而不是重复现有资源。

Mask2FormerConfig

`class transformers.Mask2FormerConfig`

<来源>

( backbone_config: Optional = None feature_size: int = 256 mask_feature_size: int = 256 hidden_dim: int = 256 encoder_feedforward_dim: int = 1024 activation_function: str = 'relu' encoder_layers: int = 6 decoder_layers: int = 10 num_attention_heads: int = 8 dropout: float = 0.0 dim_feedforward: int = 2048 pre_norm: bool = False enforce_input_projection: bool = False common_stride: int = 4 ignore_value: int = 255 num_queries: int = 100 no_object_weight: float = 0.1 class_weight: float = 2.0 mask_weight: float = 5.0 dice_weight: float = 5.0 train_num_points: int = 12544 oversample_ratio: float = 3.0 importance_sample_ratio: float = 0.75 init_std: float = 0.02 init_xavier_std: float = 1.0 use_auxiliary_loss: bool = True feature_strides: List = [4, 8, 16, 32] output_auxiliary_logits: bool = None **kwargs )

参数

backbone_config (PretrainedConfig or dict, optional, defaults to SwinConfig()) — 主干模型的配置。如果未设置，将使用与swin-base-patch4-window12-384对应的配置。
feature_size (int, optional, defaults to 256) — 结果特征图的特征（通道）。
mask_feature_size (int, optional, defaults to 256) — 掩码的特征大小，此值还将用于指定特征金字塔网络特征的大小。
hidden_dim (int, optional, defaults to 256) — 编码器层的维度。
encoder_feedforward_dim (int, optional, defaults to 1024) — 用作像素解码器一部分的可变形 detr 编码器的前馈网络维度。
encoder_layers (int, optional, defaults to 6) — 用作像素解码器一部分的可变形 detr 编码器中的层数。
decoder_layers (int, optional, defaults to 10) — 变压器解码器中的层数。
num_attention_heads (int, optional, defaults to 8) — 每个注意力层的注意力头数。
dropout (float, optional, defaults to 0.1) — 嵌入层、编码器中所有全连接层的丢失概率。
dim_feedforward (int, optional, defaults to 2048) — 变压器解码器中前馈网络的特征维度。
pre_norm (bool, optional, defaults to False) — 是否在变压器解码器中使用预 LayerNorm。
enforce_input_projection (bool, optional, defaults to False) — 是否在 Transformer 解码器中添加一个输入投影 1x1 卷积，即使输入通道和隐藏维度相同。
common_stride (int, optional, defaults to 4) — 用于确定作为像素解码器一部分使用的 FPN 级别数的参数。
ignore_value (int, optional, defaults to 255) — 训练过程中要忽略的类别 ID。
num_queries (int, optional, defaults to 100) — 解码器的查询次数。
no_object_weight (int, optional, defaults to 0.1) — 用于空（无对象）类的权重。
class_weight (int, optional, defaults to 2.0) — 交叉熵损失的权重。
mask_weight (int, optional, defaults to 5.0) — 掩码损失的权重。
dice_weight (int, optional, defaults to 5.0) — dice 损失的权重。
train_num_points (str or function, optional, defaults to 12544) — 在损失计算过程中用于采样的点数。
oversample_ratio (float, optional, defaults to 3.0) — 用于计算采样点数的过采样参数。
importance_sample_ratio (float, optional, defaults to 0.75) — 通过重要性采样抽样的点比例。
init_std (float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
init_xavier_std (float, optional, defaults to 1.0) — 用于 HM 注意力图模块中 Xavier 初始化增益的缩放因子。
use_auxiliary_loss (boolean``, *optional*, defaults to True) -- 如果True，Mask2FormerForUniversalSegmentationOutput`将包含使用每个解码器阶段的 logits 计算的辅助损失。
feature_strides (List[int], optional, defaults to [4, 8, 16, 32]) — 与主干网络生成的特征对应的特征步幅。
output_auxiliary_logits (bool, optional) — 模型是否输出其auxiliary_logits。

这是一个配置类，用于存储 Mask2FormerModel 的配置。根据指定的参数实例化一个 Mask2Former 模型，定义模型架构。使用默认值实例化配置将产生类似于 Mask2Former facebook/mask2former-swin-small-coco-instance架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

目前，Mask2Former 仅支持 Swin Transformer 作为骨干网络。

示例：

>>> from transformers import Mask2FormerConfig, Mask2FormerModel
>>> # Initializing a Mask2Former facebook/mask2former-swin-small-coco-instance configuration
>>> configuration = Mask2FormerConfig()
>>> # Initializing a model (with random weights) from the facebook/mask2former-swin-small-coco-instance style configuration
>>> model = Mask2FormerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

`from_backbone_config`

<来源>

( backbone_config: PretrainedConfig **kwargs ) → export const metadata = 'undefined';Mask2FormerConfig

参数

backbone_config（PretrainedConfig） — 骨干配置。

Mask2FormerConfig

一个配置对象的实例

从预训练的骨干模型配置实例化一个 Mask2FormerConfig（或派生类）。

MaskFormer 特定输出

`class transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput`

<来源>

( encoder_last_hidden_state: FloatTensor = None pixel_decoder_last_hidden_state: FloatTensor = None transformer_decoder_last_hidden_state: FloatTensor = None encoder_hidden_states: Optional = None pixel_decoder_hidden_states: Optional = None transformer_decoder_hidden_states: Optional = None transformer_decoder_intermediate_states: Tuple = None masks_queries_logits: Tuple = None attentions: Optional = None )

参数

encoder_last_hidden_state (torch.FloatTensor，形状为(batch_size, num_channels, height, width)，optional) — 编码器模型（骨干）最后阶段的最后隐藏状态（最终特征图）。当传递output_hidden_states=True时返回。
encoder_hidden_states (tuple(torch.FloatTensor), optional) — 编码器模型在每个阶段输出的隐藏状态（也称为特征图）的元组，形状为(batch_size, num_channels, height, width)。当传递output_hidden_states=True时返回。
pixel_decoder_last_hidden_state (torch.FloatTensor，形状为(batch_size, num_channels, height, width)，optional) — 像素解码器模型最后阶段的最后隐藏状态（最终特征图）。
pixel_decoder_hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 像素解码器模型在每个阶段输出的隐藏状态（也称为特征图）的元组，形状为(batch_size, num_channels, height, width)。当传递output_hidden_states=True时返回。
transformer_decoder_last_hidden_state (tuple(torch.FloatTensor)) — 变压器解码器的最终输出(batch_size, sequence_length, hidden_size)。
transformer_decoder_hidden_states (tuple(torch.FloatTensor), optional) — 变压器解码器在每个阶段输出的隐藏状态（也称为特征图）的元组，形状为(batch_size, sequence_length, hidden_size)。当传递output_hidden_states=True时返回。
transformer_decoder_intermediate_states (tuple(torch.FloatTensor)，形状为(num_queries, 1, hidden_size)) — 中间解码器激活，即每个解码器层的输出，每个都经过了 layernorm。
masks_queries_logits (tuple(torch.FloatTensor)，形状为(batch_size, num_queries, height, width)) — transformer 解码器中每层的掩码预测。
attentions (tuple(tuple(torch.FloatTensor))，可选，当传递output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的元组的元组。transformer 解码器的自注意力权重。

用于 Mask2FormerModel 的输出类。该类返回计算 logits 所需的所有隐藏状态。

`class transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput`

< source >

( loss: Optional = None class_queries_logits: FloatTensor = None masks_queries_logits: FloatTensor = None auxiliary_logits: Optional = None encoder_last_hidden_state: FloatTensor = None pixel_decoder_last_hidden_state: FloatTensor = None transformer_decoder_last_hidden_state: FloatTensor = None encoder_hidden_states: Optional = None pixel_decoder_hidden_states: Optional = None transformer_decoder_hidden_states: Optional = None attentions: Optional = None )

参数

loss (torch.Tensor，可选) — 计算得到的损失，在存在标签时返回。
class_queries_logits (torch.FloatTensor) — 一个形状为(batch_size, num_queries, num_labels + 1)的张量，表示每个查询的提议类别。请注意，+ 1是因为我们包含了空类别。
masks_queries_logits (torch.FloatTensor) — 一个形状为(batch_size, num_queries, height, width)的张量，表示每个查询的提议掩码。
auxiliary_logits (List[Dict(str, torch.FloatTensor)]，可选) — transformer 解码器每层的类别和掩码预测的列表。
encoder_last_hidden_state (torch.FloatTensor，形状为(batch_size, num_channels, height, width)) — 编码器模型（骨干）最后阶段的最后隐藏状态（最终特征图）。
encoder_hidden_states (tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, num_channels, height, width)的元组的torch.FloatTensor（一个用于嵌入的输出 + 一个用于每个阶段的输出）。编码器模型在每个阶段输出的隐藏状态（也称为特征图）。
pixel_decoder_last_hidden_state (torch.FloatTensor，形状为(batch_size, num_channels, height, width)) — 像素解码器模型最后阶段的最后隐藏状态（最终特征图）。
pixel_decoder_hidden_states (tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, num_channels, height, width)的元组的torch.FloatTensor（一个用于嵌入的输出 + 一个用于每个阶段的输出）。像素解码器模型在每个阶段输出的隐藏状态（也称为特征图）。
transformer_decoder_last_hidden_state (tuple(torch.FloatTensor)) — transformer 解码器的最终输出(batch_size, sequence_length, hidden_size)。
transformer_decoder_hidden_states (tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的元组的torch.FloatTensor（一个用于嵌入的输出 + 一个用于每个阶段的输出）。transformer 解码器在每个阶段输出的隐藏状态（也称为特征图）。
attentions (tuple(tuple(torch.FloatTensor)), 可选, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的元组的元组。来自 transformer 解码器的自注意力和交叉注意力权重。

Mask2FormerForUniversalSegmentationOutput的输出类。

这个输出可以直接传递给 post_process_semantic_segmentation()或 post_process_instance_segmentation()或 post_process_panoptic_segmentation()来计算最终的分割地图。请参阅[`~Mask2FormerImageProcessor]以获取有关用法的详细信息。

Mask2FormerModel

`class transformers.Mask2FormerModel`

<来源>

( config: Mask2FormerConfig )

参数

config（Mask2FormerConfig）— 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

裸的 Mask2Former 模型输出原始隐藏状态，没有特定的头部。这个模型是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

`forward`

<来源>

( pixel_values: Tensor pixel_mask: Optional = None output_hidden_states: Optional = None output_attentions: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput or tuple(torch.FloatTensor)

参数

pixel_values（torch.FloatTensor，形状为(batch_size, num_channels, height, width)）— 像素值。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参阅AutoImageProcessor.preprocess。
pixel_mask（形状为(batch_size, height, width)的torch.LongTensor，可选）— 用于避免在填充像素值上执行注意力的掩码。掩码值选择在[0, 1]中：

1 表示真实像素（即未掩码），
0 表示填充像素（即掩码）。

什么是注意力掩码？
output_hidden_states（bool，可选）— 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。
output_attentions（bool，可选）— 是否返回 Detr 解码器注意力层的注意力张量。
return_dict（bool，可选）— 是否返回~Mask2FormerModelOutput而不是普通元组。

transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput 或tuple(torch.FloatTensor)

一个 transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput 或一个torch.FloatTensor元组（如果传递return_dict=False或当config.return_dict=False时）包含根据配置（Mask2FormerConfig）和输入的各种元素。

encoder_last_hidden_state（形状为(batch_size, num_channels, height, width)的torch.FloatTensor，可选）— 编码器模型（骨干）最后阶段的最后隐藏状态（最终特征图）。当传递output_hidden_states=True时返回。
encoder_hidden_states（tuple(torch.FloatTensor)，可选）— 形状为(batch_size, num_channels, height, width)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个阶段的输出）。编码器模型在每个阶段输出的隐藏状态（也称为特征图）。当传递output_hidden_states=True时返回。
pixel_decoder_last_hidden_state（形状为(batch_size, num_channels, height, width)的torch.FloatTensor，可选）— 像素解码器模型最后阶段的最后隐藏状态（最终特征图）。
pixel_decoder_hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）— 形状为(batch_size, num_channels, height, width)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个阶段的输出）。像素解码器模型在每个阶段输出的隐藏状态（也称为特征图）。当传递output_hidden_states=True时返回。
transformer_decoder_last_hidden_state（tuple(torch.FloatTensor)）— 变压器解码器的最终输出(batch_size, sequence_length, hidden_size)。
transformer_decoder_hidden_states（tuple(torch.FloatTensor)，可选）— 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个阶段的输出）。变压器解码器在每个阶段输出的隐藏状态（也称为特征图）。当传递output_hidden_states=True时返回。
transformer_decoder_intermediate_states（形状为(num_queries, 1, hidden_size)的tuple(torch.FloatTensor)) — 中间解码器激活，即每个解码器层的输出，每个都经过了一个 layernorm。
masks_queries_logits（形状为(batch_size, num_queries, height, width)的tuple(torch.FloatTensor)) — 变压器解码器中每个层的掩码预测。
attentions（tuple(tuple(torch.FloatTensor))，可选，当传递output_attentions=True时返回）— 形状为(batch_size, num_heads, sequence_length, sequence_length)的tuple(torch.FloatTensor)元组（每个层一个）。来自变压器解码器的自注意权重。

Mask2FormerModelOutput

Mask2FormerModel 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的步骤需要在这个函数内定义，但应该在此之后调用Module实例，而不是在此处调用，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。

示例：

>>> import torch
>>> from PIL import Image
>>> import requests
>>> from transformers import AutoImageProcessor, Mask2FormerModel
>>> # load image
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> # load image preprocessor and Mask2FormerModel trained on COCO instance segmentation dataset
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-small-coco-instance")
>>> model = Mask2FormerModel.from_pretrained("facebook/mask2former-swin-small-coco-instance")
>>> inputs = image_processor(image, return_tensors="pt")
>>> # forward pass
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> # model outputs last hidden states of shape (batch_size, num_queries, hidden_size)
>>> print(outputs.transformer_decoder_last_hidden_state.shape)
torch.Size([1, 100, 256])

Transformers 4.37 中文文档（六十八）（5）https://developer.aliyun.com/article/1564095

Transformers 4.37 中文文档（六十八）（4）

LevitForImageClassification

`class transformers.LevitForImageClassification`

`forward`

LevitForImageClassificationWithTeacher

`class transformers.LevitForImageClassificationWithTeacher`

`forward`

Mask2Former

概览

使用提示

资源

Mask2FormerConfig

`class transformers.Mask2FormerConfig`

`from_backbone_config`

MaskFormer 特定输出

`class transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput`

`class transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput`

Mask2FormerModel

`class transformers.Mask2FormerModel`

`forward`

热门文章

最新文章

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

Transformers 4.37 中文文档（六十八）（4）

LevitForImageClassification

class transformers.LevitForImageClassification

forward

LevitForImageClassificationWithTeacher

class transformers.LevitForImageClassificationWithTeacher

forward

Mask2Former

概览

使用提示

资源

Mask2FormerConfig

class transformers.Mask2FormerConfig

from_backbone_config

MaskFormer 特定输出

class transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput

class transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput

Mask2FormerModel

class transformers.Mask2FormerModel

forward

热门文章

最新文章

相关电子书

`class transformers.LevitForImageClassification`

`forward`

`class transformers.LevitForImageClassificationWithTeacher`

`forward`

`class transformers.Mask2FormerConfig`

`from_backbone_config`

`class transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput`

`class transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput`

`class transformers.Mask2FormerModel`

`forward`