Transformers 4.37 中文文档（七十一）（5）-阿里云开发者社区

Transformers 4.37 中文文档（七十一）（4）https://developer.aliyun.com/article/1564226

Swin Transformer V2

原始文本：huggingface.co/docs/transformers/v4.37.2/en/model_doc/swinv2

概述

Swin Transformer V2 模型是由刘泽、胡涵、林宇彤、姚竹亮、谢振达、魏一轩、宁佳、曹越、张铮、董力、魏富儒、郭百宁在《Swin Transformer V2: 扩展容量和分辨率》中提出的。

该论文的摘要如下：

已经证明大规模的 NLP 模型在语言任务上显著提高了性能，没有饱和的迹象。它们还展示了惊人的少样本能力，就像人类一样。本文旨在探索计算机视觉中的大规模模型。我们解决了大视觉模型训练和应用中的三个主要问题，包括训练不稳定性、预训练和微调之间的分辨率差距，以及对标记数据的需求。提出了三种主要技术：1）结合余弦注意力的残差后归一化方法，以提高训练稳定性；2）一种对数间隔连续位置偏置方法，有效地将使用低分辨率图像预训练的模型转移到具有高分辨率输入的下游任务；3）一种自监督预训练方法，SimMIM，以减少对大量标记图像的需求。通过这些技术，本文成功训练了一个 30 亿参数的 Swin Transformer V2 模型，这是迄今为止最大的密集视觉模型，并使其能够训练具有高达 1,536×1,536 分辨率的图像。它在 4 个代表性的视觉任务上创造了新的性能记录，包括 ImageNet-V2 图像分类、COCO 目标检测、ADE20K 语义分割和 Kinetics-400 视频动作分类。还请注意，我们的训练比谷歌的十亿级视觉模型更高效，消耗的标记数据少 40 倍，训练时间少 40 倍。

该模型由nandwalritik贡献。原始代码可以在这里找到。

资源

官方 Hugging Face 和社区（由🌎表示）资源列表，帮助您开始使用 Swin Transformer v2。

图像分类

Swinv2ForImageClassification 由这个示例脚本和笔记本支持。
另请参阅：图像分类任务指南

除此之外：

Swinv2ForMaskedImageModeling 由这个示例脚本支持。

如果您有兴趣提交资源以包含在这里，请随时提交 Pull Request，我们将进行审核！资源应该展示出一些新的东西，而不是重复现有资源。

Swinv2Config

`class transformers.Swinv2Config`

<来源>

( image_size = 224 patch_size = 4 num_channels = 3 embed_dim = 96 depths = [2, 2, 6, 2] num_heads = [3, 6, 12, 24] window_size = 7 pretrained_window_sizes = [0, 0, 0, 0] mlp_ratio = 4.0 qkv_bias = True hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 drop_path_rate = 0.1 hidden_act = 'gelu' use_absolute_embeddings = False initializer_range = 0.02 layer_norm_eps = 1e-05 encoder_stride = 32 out_features = None out_indices = None **kwargs )

参数

image_size（int，可选，默认为 224）— 每个图像的大小（分辨率）。
patch_size（int，可选，默认为 4）— 每个补丁的大小（分辨率）。
num_channels（int，可选，默认为 3）— 输入通道的数量。
embed_dim（int，可选，默认为 96）— 补丁嵌入的维度。
depths（list(int)，可选，默认为[2, 2, 6, 2]）— Transformer 编码器中每个层的深度。
num_heads (list(int)，可选，默认为 [3, 6, 12, 24]) — Transformer 编码器每层中的注意力头数。
window_size (int，可选，默认为 7) — 窗口的大小。
pretrained_window_sizes (list(int)，可选，默认为 [0, 0, 0, 0]) — 预训练期间窗口的大小。
mlp_ratio (float，可选，默认为 4.0) — MLP 隐藏维度与嵌入维度的比率。
qkv_bias (bool，可选，默认为 True) — 是否应向查询、键和值添加可学习偏置。
hidden_dropout_prob (float，可选，默认为 0.0) — 嵌入和编码器中所有全连接层的丢弃概率。
attention_probs_dropout_prob (float，可选，默认为 0.0) — 注意力概率的丢弃比率。
drop_path_rate (float，可选，默认为 0.1) — 随机深度率。
hidden_act (str 或 function，可选，默认为 "gelu") — 编码器中的非线性激活函数（函数或字符串）。如果是字符串，支持 "gelu"、"relu"、"selu" 和 "gelu_new"。
use_absolute_embeddings (bool，可选，默认为 False) — 是否要将绝对位置嵌入添加到补丁嵌入中。
initializer_range (float，可选，默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
layer_norm_eps (float，可选，默认为 1e-05) — 层归一化层使用的 epsilon。
encoder_stride (int，可选，默认为 32) — 在解码器头部用于遮蔽图像建模时增加空间分辨率的因子。
out_features (List[str]，可选) — 如果用作骨干网络，要输出的特征列表。可以是 "stem"、"stage1"、"stage2" 等（取决于模型有多少阶段）。如果未设置且设置了 out_indices，将默认为相应的阶段。如果未设置且未设置 out_indices，将默认为最后一个阶段。
out_indices (List[int]，可选) — 如果用作骨干网络，要输出的特征的索引列表。可以是 0、1、2 等（取决于模型有多少阶段）。如果未设置且设置了 out_features，将默认为相应的阶段。如果未设置且未设置 out_features，将默认为最后一个阶段。

这是一个配置类，用于存储 Swinv2Model 的配置。根据指定的参数实例化 Swin Transformer v2 模型，定义模型架构。使用默认值实例化配置将产生类似于 Swin Transformer v2 microsoft/swinv2-tiny-patch4-window8-256 架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读来自 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import Swinv2Config, Swinv2Model
>>> # Initializing a Swinv2 microsoft/swinv2-tiny-patch4-window8-256 style configuration
>>> configuration = Swinv2Config()
>>> # Initializing a model (with random weights) from the microsoft/swinv2-tiny-patch4-window8-256 style configuration
>>> model = Swinv2Model(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

Swinv2Model

`class transformers.Swinv2Model`

< source >

( config add_pooling_layer = True use_mask_token = False )

参数

config (Swinv2Config) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。

裸的 Swinv2 模型变压器输出原始隐藏状态，没有特定的头部。此模型是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取与一般用法和行为相关的所有事项。

`forward`

<来源>

( pixel_values: Optional = None bool_masked_pos: Optional = None head_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.models.swinv2.modeling_swinv2.Swinv2ModelOutput or tuple(torch.FloatTensor)

参数

pixel_values (torch.FloatTensor，形状为(batch_size, num_channels, height, width)) — 像素值。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 ViTImageProcessor.call()。
head_mask (torch.FloatTensor，形状为(num_heads,)或(num_layers, num_heads)，optional) — 用于使自注意力模块中选择的头部失效的掩码。掩码值在[0, 1]中选择：

1 表示头部未被masked，
0 表示头部被masked。

output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的attentions。
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的hidden_states。
return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通元组。
bool_masked_pos (torch.BoolTensor，形状为(batch_size, num_patches)，optional) — 布尔掩码位置。指示哪些补丁被掩盖（1）哪些没有（0）。

transformers.models.swinv2.modeling_swinv2.Swinv2ModelOutput 或 tuple(torch.FloatTensor)

一个transformers.models.swinv2.modeling_swinv2.Swinv2ModelOutput或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False）包括根据配置（Swinv2Config）和输入而异的各种元素。

last_hidden_state (torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。
pooler_output (torch.FloatTensor，形状为(batch_size, hidden_size)，optional，当传递add_pooling_layer=True时返回) — 最后一层隐藏状态的平均池化。
hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个阶段的输出）。
模型在每一层输出的隐藏状态以及初始嵌入输出。
attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每个阶段一个）。
在注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
reshaped_hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, hidden_size, height, width)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个阶段的输出）。
模型在每一层输出的隐藏状态以及初始嵌入输出，重塑以包括空间维度。

Swinv2Model 的前向方法，覆盖了 __call__ 特殊方法。

虽然前向传递的步骤需要在此函数内定义，但应该在此之后调用 Module 实例，而不是在此处调用，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoImageProcessor, Swinv2Model
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> model = Swinv2Model.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 64, 768]

Swinv2ForMaskedImageModeling

`class transformers.Swinv2ForMaskedImageModeling`

< source >

( config )

参数

config (Swinv2Config) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。

Swinv2 模型在顶部带有解码器，用于掩码图像建模，如 SimMIM 中提出的。

请注意，我们在我们的示例目录中提供了一个脚本，用于在自定义数据上预训练此模型。

此模型是 PyTorch torch.nn.Module 的子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

`forward`

< source >

( pixel_values: Optional = None bool_masked_pos: Optional = None head_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.models.swinv2.modeling_swinv2.Swinv2MaskedImageModelingOutput or tuple(torch.FloatTensor)

参数

pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 像素值。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 ViTImageProcessor.call()。
head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块中选择的头部失效的掩码。掩码值选在 [0, 1]：

1 表示头部未被 掩码，
0 表示头部被 掩码。

output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通元组。
bool_masked_pos (torch.BoolTensor，形状为 (batch_size, num_patches)) — 布尔掩码位置。指示哪些补丁被掩盖（1）哪些没有（0）。

transformers.models.swinv2.modeling_swinv2.Swinv2MaskedImageModelingOutput 或 tuple(torch.FloatTensor)

一个 transformers.models.swinv2.modeling_swinv2.Swinv2MaskedImageModelingOutput 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时）包含根据配置（Swinv2Config）和输入的各种元素。

loss (torch.FloatTensor，形状为 (1,)，可选，当提供 bool_masked_pos 时返回) — 掩码图像建模（MLM）损失。
reconstruction (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 重构的像素值。
hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）— 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个阶段的输出）。
模型在每一层输出的隐藏状态加上初始嵌入输出。
attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）— 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每个阶段一个）。
在注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
reshaped_hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）— 形状为(batch_size, hidden_size, height, width)的torch.FloatTensor元组。
模型在每一层输出的隐藏状态加上初始嵌入输出，重塑以包括空间维度。

Swinv2ForMaskedImageModeling 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的配方需要在此函数内定义，但应该在此之后调用Module实例，而不是调用前者，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。

示例：

>>> from transformers import AutoImageProcessor, Swinv2ForMaskedImageModeling
>>> import torch
>>> from PIL import Image
>>> import requests
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> model = Swinv2ForMaskedImageModeling.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> num_patches = (model.config.image_size // model.config.patch_size) ** 2
>>> pixel_values = image_processor(images=image, return_tensors="pt").pixel_values
>>> # create random boolean mask of shape (batch_size, num_patches)
>>> bool_masked_pos = torch.randint(low=0, high=2, size=(1, num_patches)).bool()
>>> outputs = model(pixel_values, bool_masked_pos=bool_masked_pos)
>>> loss, reconstructed_pixel_values = outputs.loss, outputs.reconstruction
>>> list(reconstructed_pixel_values.shape)
[1, 3, 256, 256]

Swinv2ForImageClassification

`class transformers.Swinv2ForImageClassification`

<来源>

( config )

参数

config（Swinv2Config）— 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

Swinv2 模型变压器，顶部带有图像分类头部（在[CLS]令牌的最终隐藏状态之上的线性层），例如用于 ImageNet。

此模型是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取与一般用法和行为相关的所有事项。

`forward`

<来源>

( pixel_values: Optional = None head_mask: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.models.swinv2.modeling_swinv2.Swinv2ImageClassifierOutput or tuple(torch.FloatTensor)

参数

pixel_values（形状为(batch_size, num_channels, height, width)的torch.FloatTensor）— 像素值。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参见 ViTImageProcessor.call()。
head_mask（形状为(num_heads,)或(num_layers, num_heads)的torch.FloatTensor，可选）— 用于使自注意力模块中选择的头部失效的掩码。在[0, 1]中选择的掩码值：

1 表示头部为“未屏蔽”，
0 表示头部为“屏蔽”。

output_attentions（bool，可选）— 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的attentions。
output_hidden_states（bool，可选）— 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的hidden_states。
return_dict (bool, 可选的) — 是否返回一个 ModelOutput 而不是一个普通元组。
labels (torch.LongTensor，形状为(batch_size,), 可选的) — 用于计算图像分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]范围内。如果config.num_labels == 1，则计算回归损失（均方损失），如果config.num_labels > 1，则计算分类损失（交叉熵）。

transformers.models.swinv2.modeling_swinv2.Swinv2ImageClassifierOutput 或 tuple(torch.FloatTensor)

一个transformers.models.swinv2.modeling_swinv2.Swinv2ImageClassifierOutput或一个torch.FloatTensor元组（如果传递return_dict=False或者当config.return_dict=False时）包含根据配置（Swinv2Config）和输入的各种元素。

loss (torch.FloatTensor，形状为(1,), 可选的, 当提供labels时返回) — 分类（如果config.num_labels==1则为回归）损失。
logits (torch.FloatTensor，形状为(batch_size, config.num_labels)) — 分类（如果config.num_labels==1则为回归）得分（SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor), 可选的, 当传递output_hidden_states=True或者当config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个阶段的输出）。
模型在每一层输出的隐藏状态加上初始嵌入输出。
attentions (tuple(torch.FloatTensor), 可选的, 当传递output_attentions=True或者当config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每个阶段一个）。
注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
reshaped_hidden_states (tuple(torch.FloatTensor), 可选的, 当传递output_hidden_states=True或者当config.output_hidden_states=True时返回) — 形状为(batch_size, hidden_size, height, width)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个阶段的输出）。
模型在每一层输出的隐藏状态，加上重新调整形状以包括空间维度的初始嵌入输出。

Swinv2ForImageClassification 的前向方法，覆盖__call__特殊方法。

虽然前向传递的步骤需要在此函数内定义，但应该在之后调用Module实例，而不是这个，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoImageProcessor, Swinv2ForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> model = Swinv2ForImageClassification.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
Egyptian cat

ormers.models.swinv2.modeling_swinv2.Swinv2ImageClassifierOutput或一个torch.FloatTensor元组（如果传递return_dict=False或者当config.return_dict=False`时）包含根据配置（Swinv2Config）和输入的各种元素。

loss (torch.FloatTensor，形状为(1,), 可选的, 当提供labels时返回) — 分类（如果config.num_labels==1则为回归）损失。
logits (torch.FloatTensor，形状为(batch_size, config.num_labels)) — 分类（如果config.num_labels==1则为回归）得分（SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor), 可选的, 当传递output_hidden_states=True或者当config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个阶段的输出）。
模型在每一层输出的隐藏状态加上初始嵌入输出。
attentions (tuple(torch.FloatTensor), 可选的, 当传递output_attentions=True或者当config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每个阶段一个）。
注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
reshaped_hidden_states (tuple(torch.FloatTensor), 可选的, 当传递output_hidden_states=True或者当config.output_hidden_states=True时返回) — 形状为(batch_size, hidden_size, height, width)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个阶段的输出）。
模型在每一层输出的隐藏状态，加上重新调整形状以包括空间维度的初始嵌入输出。

Swinv2ForImageClassification 的前向方法，覆盖__call__特殊方法。

虽然前向传递的步骤需要在此函数内定义，但应该在之后调用Module实例，而不是这个，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoImageProcessor, Swinv2ForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> model = Swinv2ForImageClassification.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
Egyptian cat

Transformers 4.37 中文文档（七十一）（5）

Swin Transformer V2

概述

资源

Swinv2Config

`class transformers.Swinv2Config`

Swinv2Model

`class transformers.Swinv2Model`

`forward`

Swinv2ForMaskedImageModeling

`class transformers.Swinv2ForMaskedImageModeling`

`forward`

Swinv2ForImageClassification

`class transformers.Swinv2ForImageClassification`

`forward`

热门文章

最新文章

相关课程

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

Transformers 4.37 中文文档（七十一）（5）

Swin Transformer V2

概述

资源

Swinv2Config

class transformers.Swinv2Config

Swinv2Model

class transformers.Swinv2Model

forward

Swinv2ForMaskedImageModeling

class transformers.Swinv2ForMaskedImageModeling

forward

Swinv2ForImageClassification

class transformers.Swinv2ForImageClassification

forward

热门文章

最新文章

相关课程

相关电子书

`class transformers.Swinv2Config`

`class transformers.Swinv2Model`

`forward`

`class transformers.Swinv2ForMaskedImageModeling`

`forward`

`class transformers.Swinv2ForImageClassification`

`forward`