Transformers 4.37 中文文档（七十二）（3）https://developer.aliyun.com/article/1564166
VAN
原文：
huggingface.co/docs/transformers/v4.37.2/en/model_doc/van
此模型仅处于维护模式，我们不接受任何更改其代码的新 PR。
如果您在运行此模型时遇到任何问题，请重新安装支持此模型的最后一个版本：v4.30.0。您可以通过运行以下命令来执行：pip install -U transformers==4.30.0。
概述
VAN 模型是由 Meng-Hao Guo，Cheng-Ze Lu，Zheng-Ning Liu，Ming-Ming Cheng，Shi-Min Hu 在Visual Attention Network中提出的。
这篇论文介绍了一种基于卷积操作的新型注意力层，能够捕捉局部和远距离关系。这是通过结合普通和大核卷积层来实现的。后者使用扩张卷积来捕捉远距离的相关性。
论文摘要如下：
尽管最初设计用于自然语言处理任务，但自注意机制最近在各种计算机视觉领域引起了轰动。然而，图像的 2D 性质为在计算机视觉中应用自注意带来了三个挑战。（1）将图像视为 1D 序列忽略了它们的 2D 结构。（2）二次复杂度对于高分辨率图像来说太昂贵了。（3）它只捕捉了空间适应性，但忽略了通道适应性。在本文中，我们提出了一种新颖的大核注意力（LKA）模块，以在自注意中实现自适应和长距离相关性，同时避免上述问题。我们进一步介绍了一种基于 LKA 的新型神经网络，即 Visual Attention Network（VAN）。尽管非常简单，VAN 在广泛的实验中大幅超越了最先进的视觉 transformers 和卷积神经网络，包括图像分类、目标检测、语义分割、实例分割等。代码可在此 https URL上找到。
提示：
- VAN 没有嵌入层，因此
hidden_states的长度将等于阶段的数量。
下图展示了 Visual Attention Layer 的架构。摘自原始论文。
资源
帮助您开始使用 VAN 的官方 Hugging Face 和社区资源列表（由🌎表示）。
图像分类
如果您有兴趣提交资源以包含在这里，请随时打开一个 Pull Request，我们将进行审查！资源应该展示一些新东西，而不是重复现有资源。
VanConfig
class transformers.VanConfig
( image_size = 224 num_channels = 3 patch_sizes = [7, 3, 3, 3] strides = [4, 2, 2, 2] hidden_sizes = [64, 128, 320, 512] depths = [3, 3, 12, 3] mlp_ratios = [8, 8, 4, 4] hidden_act = 'gelu' initializer_range = 0.02 layer_norm_eps = 1e-06 layer_scale_init_value = 0.01 drop_path_rate = 0.0 dropout_rate = 0.0 **kwargs )
参数
image_size（int，可选，默认为 224）—每个图像的大小（分辨率）。num_channels（int，可选，默认为 3）—输入通道的数量。patch_sizes（List[int]，可选，默认为[7, 3, 3, 3]）—每个阶段嵌入层中使用的补丁大小。strides（List[int]，可选，默认为[4, 2, 2, 2]）—每个阶段嵌入层中用于下采样输入的步幅大小。hidden_sizes(List[int], optional, defaults to[64, 128, 320, 512]) — 每个阶段的维度（隐藏大小）。depths(List[int], optional, defaults to[3, 3, 12, 3]) — 每个阶段的深度（层数）。mlp_ratios(List[int], optional, defaults to[8, 8, 4, 4]) — 每个阶段 mlp 层的扩展比率。hidden_act(strorfunction, optional, defaults to"gelu") — 每层中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"selu"和"gelu_new"。initializer_range(float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。layer_norm_eps(float, optional, defaults to 1e-06) — 层归一化层使用的 epsilon。layer_scale_init_value(float, optional, defaults to 0.01) — 层缩放的初始值。drop_path_rate(float, optional, defaults to 0.0) — 随机深度的 dropout 概率。dropout_rate(float, optional, defaults to 0.0) — 用于 dropout 的 dropout 概率。
这是用于存储 VanModel 配置的配置类。根据指定的参数实例化 VAN 模型，定义模型架构。使用默认值实例化配置将产生类似于 VAN Visual-Attention-Network/van-base 架构的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。
示例：
>>> from transformers import VanModel, VanConfig >>> # Initializing a VAN van-base style configuration >>> configuration = VanConfig() >>> # Initializing a model from the van-base style configuration >>> model = VanModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config
VanModel
class transformers.VanModel
( config )
参数
config(VanConfig) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。查看 from_pretrained()方法以加载模型权重。
裸的 VAN 模型输出原始特征，没有特定的头部。请注意，VAN 没有嵌入层。此模型是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取与一般用法和行为相关的所有事项。
forward
( pixel_values: Optional output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention or tuple(torch.FloatTensor)
参数
pixel_values(torch.FloatTensorof shape(batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 ConvNextImageProcessor.call()。output_hidden_states(bool, optional) — 是否返回所有阶段的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。return_dict(bool, optional) — 是否返回 ModelOutput 而不是普通元组。
返回
transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或 tuple(torch.FloatTensor)
transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention或torch.FloatTensor元组（如果传递了return_dict=False或config.return_dict=False时）包含根据配置（VanConfig）和输入的各种元素。
last_hidden_state(torch.FloatTensorof shape(batch_size, num_channels, height, width)) — 模型最后一层的隐藏状态序列。pooler_output(torch.FloatTensorof shape(batch_size, hidden_size)) — 空间维度上池化操作后的最后一层隐藏状态。hidden_states(tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, num_channels, height, width)的torch.FloatTensor元组（如果模型具有嵌入层的输出，则为嵌入输出的输出+每一层的输出）。
模型在每一层输出的隐藏状态以及可选的初始嵌入输出。
VanModel 的前向方法，覆盖__call__特殊方法。
虽然前向传递的步骤需要在此函数内定义，但应该在此之后调用Module实例，而不是在此处调用，因为前者会负责运行预处理和后处理步骤，而后者会默默地忽略它们。
示例：
>>> from transformers import AutoImageProcessor, VanModel >>> import torch >>> from datasets import load_dataset >>> dataset = load_dataset("huggingface/cats-image") >>> image = dataset["test"]["image"][0] >>> image_processor = AutoImageProcessor.from_pretrained("Visual-Attention-Network/van-base") >>> model = VanModel.from_pretrained("Visual-Attention-Network/van-base") >>> inputs = image_processor(image, return_tensors="pt") >>> with torch.no_grad(): ... outputs = model(**inputs) >>> last_hidden_states = outputs.last_hidden_state >>> list(last_hidden_states.shape) [1, 512, 7, 7]
VanForImageClassification
class transformers.VanForImageClassification
( config )
参数
config(VanConfig) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained()方法以加载模型权重。
带有图像分类头部（在池化特征之上的线性层）的 VAN 模型，例如用于 ImageNet。
该模型是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取与一般用法和行为相关的所有事项。
forward
( pixel_values: Optional = None labels: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.ImageClassifierOutputWithNoAttention or tuple(torch.FloatTensor)
参数
pixel_values(torch.FloatTensorof shape(batch_size, num_channels, height, width)) — 像素值。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 ConvNextImageProcessor.call()。output_hidden_states(bool, optional) — 是否返回所有阶段的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。return_dict(bool, optional) — 是否返回 ModelOutput 而不是普通元组。labels(torch.LongTensorof shape(batch_size,), optional) — 用于计算图像分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]范围内。如果config.num_labels == 1，则计算回归损失（均方损失），如果config.num_labels > 1，则计算分类损失（交叉熵）。
返回
transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False）包含根据配置（VanConfig）和输入的不同元素。
loss(torch.FloatTensor，形状为(1,), optional, 当提供labels时返回) — 分类（如果config.num_labels==1则为回归）损失。logits(torch.FloatTensor，形状为(batch_size, config.num_labels)) — 分类（如果config.num_labels==1则为回归）得分（SoftMax 之前）。hidden_states(tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) —torch.FloatTensor元组（如果模型有嵌入层，则为嵌入的输出 + 每个阶段的输出）的形状为(batch_size, num_channels, height, width)。模型在每个阶段输出的隐藏状态（也称为特征图）。
VanForImageClassification 的前向方法，覆盖了__call__特殊方法。
虽然前向传递的步骤需要在这个函数内定义，但应该在此之后调用Module实例，而不是这个函数，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。
示例：
>>> from transformers import AutoImageProcessor, VanForImageClassification >>> import torch >>> from datasets import load_dataset >>> dataset = load_dataset("huggingface/cats-image") >>> image = dataset["test"]["image"][0] >>> image_processor = AutoImageProcessor.from_pretrained("Visual-Attention-Network/van-base") >>> model = VanForImageClassification.from_pretrained("Visual-Attention-Network/van-base") >>> inputs = image_processor(image, return_tensors="pt") >>> with torch.no_grad(): ... logits = model(**inputs).logits >>> # model predicts one of the 1000 ImageNet classes >>> predicted_label = logits.argmax(-1).item() >>> print(model.config.id2label[predicted_label]) tabby, tabby cat
VideoMAE
原文：
huggingface.co/docs/transformers/v4.37.2/en/model_doc/videomae
概述
VideoMAE 模型由 Zhan Tong, Yibing Song, Jue Wang, Limin Wang 在VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training中提出。VideoMAE 将遮罩自动编码器（MAE）扩展到视频，声称在几个视频分类基准上表现出色。
论文摘要如下：
通常需要在额外大规模数据集上预训练视频变换器，才能在相对小的数据集上实现最佳性能。在本文中，我们展示了视频遮罩自动编码器（VideoMAE）是自监督视频预训练（SSVP）的数据高效学习者。我们受到最近的 ImageMAE 的启发，提出了定制的视频管道遮罩和重建。这些简单的设计对于克服视频重建过程中由时间相关性引起的信息泄漏是有效的。我们在 SSVP 上得出了三个重要发现：（1）极高比例的遮罩比率（即 90% 到 95%）仍然能够产生 VideoMAE 的良好性能。时间上冗余的视频内容使得遮罩比率比图像更高。 （2）VideoMAE 在非常小的数据集上（即约 3k-4k 视频）取得了令人印象深刻的结果，而没有使用任何额外数据。这部分归因于视频重建任务的挑战，以强制进行高级结构学习。 （3）VideoMAE 表明，对于 SSVP，数据质量比数据数量更重要。预训练和目标数据集之间的领域转移是 SSVP 中的重要问题。值得注意的是，我们的 VideoMAE 与基本的 ViT 骨干可以在 Kinects-400 上达到 83.9%，在 Something-Something V2 上达到 75.3%，在 UCF101 上达到 90.8%，在 HMDB51 上达到 61.1%，而没有使用任何额外数据。
VideoMAE 预训练。摘自原始论文。
资源
官方 Hugging Face 和社区（由 🌎 表示）资源列表，可帮助您开始使用 VideoMAE。如果您有兴趣提交资源以包含在此处，请随时提交拉取请求，我们将进行审核！资源应该展示一些新内容，而不是重复现有资源。
视频分类
VideoMAEConfig
class transformers.VideoMAEConfig
( image_size = 224 patch_size = 16 num_channels = 3 num_frames = 16 tubelet_size = 2 hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 initializer_range = 0.02 layer_norm_eps = 1e-12 qkv_bias = True use_mean_pooling = True decoder_num_attention_heads = 6 decoder_hidden_size = 384 decoder_num_hidden_layers = 4 decoder_intermediate_size = 1536 norm_pix_loss = True **kwargs )
参数
image_size(int, 可选, 默认为 224) — 每个图像的大小（分辨率）。patch_size(int, 可选, 默认为 16) — 每个补丁的大小（分辨率）。num_channels(int, 可选, 默认为 3) — 输入通道数量。num_frames(int, 可选, 默认为 16) — 每个视频中的帧数。tubelet_size(int, 可选, 默认为 2) — 管道大小。hidden_size(int, 可选, 默认为 768) — 编码器层和池化层的维度。num_hidden_layers(int, 可选, 默认为 12) — Transformer 编码器中的隐藏层数量。num_attention_heads(int, optional, 默认为 12) — Transformer 编码器中每个注意力层的注意力头数量。intermediate_size(int, optional, 默认为 3072) — Transformer 编码器中“中间”（即前馈）层的维度。hidden_act(str或function, optional, 默认为"gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"selu"和"gelu_new"。hidden_dropout_prob(float, optional, 默认为 0.0) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。attention_probs_dropout_prob(float, optional, 默认为 0.0) — 注意力概率的 dropout 比率。initializer_range(float, optional, 默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。layer_norm_eps(float, optional, 默认为 1e-12) — 层归一化层使用的 epsilon。qkv_bias(bool, optional, 默认为True) — 是否为查询、键和值添加偏置。use_mean_pooling(bool, optional, 默认为True) — 是否对最终隐藏状态进行均值池化，而不是使用[CLS]标记的最终隐藏状态。decoder_num_attention_heads(int, optional, 默认为 6) — 解码器中每个注意力层的注意力头数量。decoder_hidden_size(int, optional, 默认为 384) — 解码器的维度。decoder_num_hidden_layers(int, optional, 默认为 4) — 解码器中的隐藏层数量。decoder_intermediate_size(int, optional, 默认为 1536) — 解码器中“中间”（即前馈）层的维度。norm_pix_loss(bool, optional, 默认为True) — 是否对目标补丁像素进行归一化。
这是一个配置类，用于存储 VideoMAEModel 的配置。根据指定的参数实例化一个 VideoMAE 模型，定义模型架构。使用默认值实例化配置将产生类似于 VideoMAEMCG-NJU/videomae-base架构的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。
示例:
>>> from transformers import VideoMAEConfig, VideoMAEModel >>> # Initializing a VideoMAE videomae-base style configuration >>> configuration = VideoMAEConfig() >>> # Randomly initializing a model from the configuration >>> model = VideoMAEModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config
VideoMAEFeatureExtractor
class transformers.VideoMAEFeatureExtractor
( *args **kwargs )
__call__
( images **kwargs )
预处理一张图像或一批图像。
VideoMAEImageProcessor
class transformers.VideoMAEImageProcessor
( do_resize: bool = True size: Dict = None resample: Resampling = <Resampling.BILINEAR: 2> do_center_crop: bool = True crop_size: Dict = None do_rescale: bool = True rescale_factor: Union = 0.00392156862745098 do_normalize: bool = True image_mean: Union = None image_std: Union = None **kwargs )
参数
do_resize(bool, optional, 默认为True) — 是否将图像的（高度，宽度）尺寸调整为指定的size。可以被preprocess方法中的do_resize参数覆盖。size(Dict[str, int]optional, 默认为{"shortest_edge" -- 224}): 调整大小后的输出图像尺寸。图像的最短边将被调整为size["shortest_edge"]，同时保持原始图像的纵横比。可以被preprocess方法中的size覆盖。resample(PILImageResampling, optional, 默认为Resampling.BILINEAR) — 如果调整图像大小，则要使用的重采样滤波器。可以被preprocess方法中的resample参数覆盖。do_center_crop(bool, optional, 默认为True) — 是否将图像居中裁剪到指定的crop_size。可以被preprocess方法中的do_center_crop参数覆盖。crop_size(Dict[str, int], optional, 默认为{"height" -- 224, "width": 224}): 应用中心裁剪后的图像大小。可以被preprocess方法中的crop_size参数覆盖。do_rescale(bool, optional, 默认为True) — 是否按指定比例rescale_factor重新缩放图像。可以被preprocess方法中的do_rescale参数覆盖。rescale_factor(int或float, optional, 默认为1/255) — 定义要使用的缩放因子，如果重新缩放图像。可以被preprocess方法中的rescale_factor参数覆盖。do_normalize(bool, optional, 默认为True) — 是否对图像进行归一化。可以被preprocess方法中的do_normalize参数覆盖。image_mean(float或List[float], optional, 默认为IMAGENET_STANDARD_MEAN) — 如果归一化图像，则使用的均值。这是一个浮点数或与图像通道数相同长度的浮点数列表。可以被preprocess方法中的image_mean参数覆盖。image_std(float或List[float], optional, 默认为IMAGENET_STANDARD_STD) — 如果归一化图像，则使用的标准差。这是一个浮点数或与图像通道数相同长度的浮点数列表。可以被preprocess方法中的image_std参数覆盖。
构建一个 VideoMAE 图像处理器。
preprocess
( videos: Union do_resize: bool = None size: Dict = None resample: Resampling = None do_center_crop: bool = None crop_size: Dict = None do_rescale: bool = None rescale_factor: float = None do_normalize: bool = None image_mean: Union = None image_std: Union = None return_tensors: Union = None data_format: ChannelDimension = <ChannelDimension.FIRST: 'channels_first'> input_data_format: Union = None **kwargs )
参数
images(ImageInput) — 要预处理的图像。期望单个或批量图像，像素值范围为 0 到 255。如果传入像素值在 0 到 1 之间的图像，请设置do_rescale=False。do_resize(bool, optional, 默认为self.do_resize) — 是否调整图像大小。size(Dict[str, int], optional, 默认为self.size) — 调整大小后的图像尺寸。resample(PILImageResampling, optional, 默认为self.resample) — 如果调整图像大小，则要使用的重采样滤波器。这可以是枚举PILImageResampling中的一个，仅在do_resize设置为True时有效。do_center_crop(bool, optional, 默认为self.do_centre_crop) — 是否居中裁剪图像。crop_size(Dict[str, int], optional, 默认为self.crop_size) — 应用中心裁剪后的图像尺寸。do_rescale(bool, optional, 默认为self.do_rescale) — 是否将图像值重新缩放在 [0 - 1] 之间。rescale_factor(float, optional, 默认为self.rescale_factor) — 如果do_rescale设置为True，则重新缩放图像的缩放因子。do_normalize(bool, optional, 默认为self.do_normalize) — 是否对图像进行归一化。image_mean(float或List[float], optional, 默认为self.image_mean) — 图像均值。image_std(float或List[float], optional, 默认为self.image_std) — 图像标准差。return_tensors(str或TensorType, optional) — 要返回的张量类型。可以是以下之一:
- 未设置: 返回一个
np.ndarray列表。 TensorType.TENSORFLOW或'tf': 返回类型为tf.Tensor的批处理。TensorType.PYTORCH或'pt': 返回类型为torch.Tensor的批处理。TensorType.NUMPY或'np': 返回类型为np.ndarray的批处理。TensorType.JAX或'jax': 返回类型为jax.numpy.ndarray的批处理。
data_format（ChannelDimension或str，可选，默认为ChannelDimension.FIRST）— 输出图像的通道维度格式。可以是以下之一：
ChannelDimension.FIRST：图像格式为（通道数，高度，宽度）。ChannelDimension.LAST：图像格式为（高度，宽度，通道数）。- 未设置：使用推断的输入图像的通道维度格式。
input_data_format（ChannelDimension或str，可选）— 输入图像的通道维度格式。如果未设置，则从输入图像中推断通道维度格式。可以是以下之一：
"channels_first"或ChannelDimension.FIRST：图像格式为（通道数，高度，宽度）。"channels_last"或ChannelDimension.LAST：图像格式为（高度，宽度，通道数）。"none"或ChannelDimension.NONE：图像格式为（高度，宽度）。
对图像或图像批次进行预处理。
Transformers 4.37 中文文档（七十二）（5）https://developer.aliyun.com/article/1564169
