Transformers 4.37 中文文档（八十六）（2）-阿里云开发者社区

Transformers 4.37 中文文档（八十六）（1）https://developer.aliyun.com/article/1563236

DonutSwinModel

`class transformers.DonutSwinModel`

( config add_pooling_layer = True use_mask_token = False )

参数

config（DonutSwinConfig）— 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

裸 Donut Swin 模型变压器输出原始隐藏状态，没有特定的头部在顶部。该模型是 PyTorch torch.nn.Module子类。将其用作常规的 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

`前向`

<来源>

( pixel_values: Optional = None bool_masked_pos: Optional = None head_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.models.donut.modeling_donut_swin.DonutSwinModelOutput or tuple(torch.FloatTensor)

参数

pixel_values（形状为(batch_size, num_channels, height, width)的torch.FloatTensor）— 像素值。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 DonutImageProcessor.call()。
head_mask（形状为(num_heads,)或(num_layers, num_heads)的torch.FloatTensor，可选）— 用于使自注意力模块中选择的头部失效的掩码。掩码值在[0, 1]中选择：

1 表示头部未被遮罩，
0 表示头部被遮罩。

output_attentions（bool，可选）— 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。
output_hidden_states（bool，可选）— 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。
return_dict（bool，可选）— 是否返回 ModelOutput 而不是普通元组。
bool_masked_pos（形状为(batch_size, num_patches)的torch.BoolTensor）— 布尔掩码位置。指示哪些补丁被屏蔽（1）哪些没有（0）。

返回值

transformers.models.donut.modeling_donut_swin.DonutSwinModelOutput或tuple(torch.FloatTensor)

一个transformers.models.donut.modeling_donut_swin.DonutSwinModelOutput或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False）包含根据配置（DonutSwinConfig）和输入的各种元素。

last_hidden_state（形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor）— 模型最后一层的隐藏状态序列。
pooler_output（形状为(batch_size, hidden_size)的torch.FloatTensor，可选，当传递add_pooling_layer=True时返回）— 最后一层隐藏状态的平均池化。
hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）— 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组。
模型在每一层输出的隐藏状态以及初始嵌入输出。
attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）— 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组。
在注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
reshaped_hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, hidden_size, height, width) 的 torch.FloatTensor 元组（一个用于嵌入的输出 + 一个用于每个阶段的输出）。
模型在每一层输出的隐藏状态以及包括空间维度的初始嵌入输出进行了重塑。

DonutSwinModel 的前向方法，覆盖了 __call__ 特殊方法。

虽然前向传递的步骤需要在这个函数内定义，但应该在之后调用 Module 实例，而不是这个函数，因为前者会处理运行前后的处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoImageProcessor, DonutSwinModel
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("https://huggingface.co/naver-clova-ix/donut-base")
>>> model = DonutSwinModel.from_pretrained("https://huggingface.co/naver-clova-ix/donut-base")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 49, 768]

FLAVA

原文链接：huggingface.co/docs/transformers/v4.37.2/en/model_doc/flava

概述

FLAVA 模型在FLAVA: A Foundational Language And Vision Alignment Model中由 Amanpreet Singh, Ronghang Hu, Vedanuj Goswami, Guillaume Couairon, Wojciech Galuba, Marcus Rohrbach 和 Douwe Kiela 提出，并已被 CVPR 2022 接受。

该论文旨在创建一个统一的基础模型，可以跨越视觉、语言以及视觉-语言多模态任务。

论文摘要如下：

最先进的视觉和视觉-语言模型依赖于大规模视觉-语言预训练，以在各种下游任务上获得良好的性能。通常，这些模型通常是跨模态（对比）或多模态（具有早期融合），但不是两者兼具；它们通常只针对特定的模态或任务。一个有前途的方向是使用一个单一的整体通用模型，作为“基础”，一次性针对所有模态 —— 一个真正的视觉和语言基础模型应该擅长视觉任务、语言任务以及视觉和语言任务。我们介绍 FLAVA 作为这样一个模型，并展示了在涵盖这些目标模态的 35 个任务范围内的出色性能。

该模型由aps贡献。原始代码可在此处找到。

FlavaConfig

`class transformers.FlavaConfig`

<来源>

( image_config: Dict = None text_config: Dict = None multimodal_config: Dict = None image_codebook_config: Dict = None hidden_size: int = 768 layer_norm_eps: float = 1e-12 projection_dim: int = 768 init_codebook: bool = True logit_scale_init_value: float = 2.6592 initializer_range: float = 0.02 ce_ignore_index: int = -100 mim_weight: float = 1.0 mlm_weight: float = 1.0 global_contrastive_weight: float = 1.0 itm_weight: float = 1.0 mmm_image_weight: float = 1.0 mmm_text_weight: float = 1.0 global_backprop_contrastive: bool = True skip_unmasked_multimodal_encoder: bool = True return_loss: bool = True **kwargs )

参数

text_config (dict, optional) — 用于初始化 FlavaTextConfig 的配置选项字典。
image_config (dict, optional) — 用于初始化 FlavaImageConfig 的配置选项字典。
multimodal_config (dict, optional) — 用于初始化 FlavaMultimodalConfig 的配置选项字典。
hidden_size (int, optional, 默认为 768) — 编码器层和池化层的维度。
layer_norm_eps (float, optional, 默认为 1e-12) — 层归一化层使用的 epsilon 值。
projection_dim (int, optional, 默认为 512) — 文本和图像投影层的维度。
logit_scale_init_value (float, optional, 默认为 2.6592) — logit_scale参数的初始值。默认值与原始 FLAVA/CLIP 实现相同。
initializer_range (float, optional, 默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
ce_ignore_index (int, optional, 默认为-100) — 用于忽略的交叉熵索引。
mim_weight (float, optional, 默认为 1.0) — 分配给 MIM（Masked Image Modeling）单模态损失的权重。
mlm_weight (float, optional, 默认为 1.0) — 分配给 MLM（Masked Language Modeling）单模态损失的权重。
global_contrastive_weight (float, optional, 默认为 1.0) — 分配给全局对比度交叉对齐损失的权重。
itm_weight (float, optional, 默认为 1.0) — 分配给图像-文本匹配多模态损失的权重。
mmm_image_weight (float, optional, 默认为 1.0) — 分配给 MMM 损失图像部分的权重。
mmm_text_weight (float, optional, 默认为 1.0) — 分配给 MMM 损失文本部分的权重。
global_backprop_contrastive (bool, optional, 默认为True) — 是否在对比损失中通过所有工作器进行全局反向传播。
skip_unmasked_multimodal_encoder（bool，可选，默认为True）— 是否跳过运行未屏蔽的多模态编码器，其输出不被 FLAVA 损失使用。
return_loss（bool，可选，默认为True）— 是否返回损失或不返回
kwargs（可选）— 关键字参数的字典。

FlavaConfig 是用于存储 FlavaModel 配置的配置类。根据指定的参数实例化 FLAVA 模型，定义文本模型、图像模型、图像码书和多模态模型配置。使用默认值实例化配置将产生类似于 FLAVA facebook/flava-full架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import FlavaConfig, FlavaModel, FlavaForPreTraining
>>> # Initializing a FlavaConfig with style configuration
>>> configuration = FlavaConfig()
>>> # Initializing a FlavaModel and FlavaForPreTraining model (with random weights) from the style configuration
>>> model = FlavaModel(configuration)
>>> model_pre = FlavaForPreTraining(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config
>>> configuration_pre = model_pre.config

`from_configs`

< source >

( image_config: FlavaImageConfig text_config: FlavaTextConfig multimodal_config: FlavaMultimodalConfig image_codebook_config: FlavaImageCodebookConfig **kwargs ) → export const metadata = 'undefined';FlavaConfig

FlavaConfig

配置对象的实例

从 flava 文本模型配置、flava 图像模型配置、flava 多模态模型和 flava 码书模型配置中实例化一个 FlavaConfig（或派生类）。

FlavaTextConfig

`class transformers.FlavaTextConfig`

< source >

( vocab_size: int = 30522 type_vocab_size: int = 2 max_position_embeddings: int = 512 position_embedding_type: str = 'absolute' hidden_size: int = 768 num_hidden_layers: int = 12 num_attention_heads: int = 12 intermediate_size: int = 3072 hidden_act: str = 'gelu' hidden_dropout_prob: float = 0.0 attention_probs_dropout_prob: float = 0.0 initializer_range: float = 0.02 layer_norm_eps: float = 1e-12 pad_token_id: int = 0 qkv_bias: bool = True **kwargs )

参数

vocab_size（int，可选，默认为 30522）— BERT 模型的词汇量。定义在调用 FlavaTextModel 时可以表示的不同标记数量。
type_vocab_size（int，可选，默认为 2）— 在调用 FlavaTextModel 时传递的token_type_ids的词汇量大小。请注意，即使文本编码器允许token_type_ids的值为 2，但对于仅文本的预训练和微调，类似于 RoBERTa，只使用 1。
max_position_embeddings（int，可选，默认为 512）— 模型可能使用的最大序列长度。通常设置为较大的值以防万一（例如 512、1024 或 2048）。对于 VL，传递给模型的 max_length 为 77。
position_embedding_type（str，可选，默认为"absolute"）— 位置嵌入的类型。选择"absolute"、"relative_key"、"relative_key_query"中的一个。对于位置嵌入，请使用"absolute"。有关"relative_key"的更多信息，请参考Self-Attention with Relative Position Representations (Shaw et al.)。有关"relative_key_query"的更多信息，请参考Improve Transformer Models with Better Relative Position Embeddings (Huang et al.)中的Method 4。
hidden_size（int，可选，默认为 768）— 编码器层和池化层的维度。
num_hidden_layers（int，可选，默认为 12）— Transformer 编码器中的隐藏层数。
num_attention_heads（int，可选，默认为 12）— Transformer 编码器中每个注意力层的注意力头数。
intermediate_size（int，可选，默认为 3072）— Transformer 编码器中“中间”（即前馈）层的维度。
hidden_act (str or function, optional, defaults to "gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"selu"和"gelu_new"。
hidden_dropout_prob (float, optional, defaults to 0.1) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。
attention_probs_dropout_prob (float, optional, defaults to 0.1) — 注意力概率的 dropout 比率。
initializer_range (float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
layer_norm_eps (float, optional, defaults to 1e-12) — 层归一化层使用的 epsilon。
image_size (int, optional, defaults to 224) — 每个图像的大小（分辨率）。
patch_size (int, optional, defaults to 16) — 每个补丁的大小（分辨率）。
num_channels (int, optional, defaults to 3) — 输入通道的数量。
qkv_bias (bool, optional, defaults to True) — 是否为查询、键和值添加偏置。

这是用于存储 FlavaTextModel 配置的配置类。根据指定的参数实例化 FLAVA 模型，定义模型架构。

使用默认值实例化配置将产生类似于 FLAVA facebook/flava-full架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import FlavaTextConfig, FlavaTextModel
>>> # Initializing a FlavaTextModel with  style configuration
>>> configuration = FlavaTextConfig()
>>> # Initializing a FlavaTextModel model (with random weights) from the style configuration
>>> model = FlavaTextModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

FlavaImageConfig

`class transformers.FlavaImageConfig`

< source >

( hidden_size: int = 768 num_hidden_layers: int = 12 num_attention_heads: int = 12 intermediate_size: int = 3072 hidden_act: int = 'gelu' hidden_dropout_prob: float = 0.0 attention_probs_dropout_prob: float = 0.0 initializer_range: float = 0.02 layer_norm_eps: float = 1e-12 image_size: int = 224 patch_size: int = 16 num_channels: int = 3 qkv_bias: bool = True mask_token: bool = True vocab_size: int = 8192 **kwargs )

参数

hidden_size (int, optional, defaults to 768) — 编码器层和池化器层的维度。
num_hidden_layers (int, optional, defaults to 12) — Transformer 编码器中的隐藏层数量。
num_attention_heads (int, optional, defaults to 12) — Transformer 编码器中每个注意力层的注意力头数量。
intermediate_size (int, optional, defaults to 3072) — Transformer 编码器中“中间”（即前馈）层的维度。
hidden_act (str or function, optional, defaults to "gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"selu"和"gelu_new"。
hidden_dropout_prob (float, optional, defaults to 0.0) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。
attention_probs_dropout_prob (float, optional, defaults to 0.0) — 注意力概率的 dropout 比率。
initializer_range (float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
layer_norm_eps (float, optional, defaults to 1e-12) — 层归一化层使用的 epsilon。
image_size (int, optional, defaults to 224) — 每个图像的大小（分辨率）。
patch_size (int, optional, defaults to 16) — 每个补丁的大小（分辨率）。
num_channels (int, optional, defaults to 3) — 输入通道的数量。
qkv_bias (bool, optional, defaults to True) — 是否为查询、键和值添加偏置。
mask_token (bool, optional, defaults to True) — 是否使用掩码标记。用于 FLAVA 的 MIM（Masked Image Modeling）损失。
vocab_size (int，可选，默认为 8192) — 与 FlavaImageModel 一起用于 FLAVA 的 MIM（Masked Image Modeling）损失的 FlavaImageCodebook 的词汇表大小。

这是用于存储 FlavaImageModel 配置的配置类。根据指定的参数实例化 FLAVA 模型，定义模型架构。

使用默认值实例化配置将产生类似于 FLAVA facebook/flava-full 架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import FlavaImageConfig, FlavaImageModel
>>> # Initializing a FlavaImageModel with  style configuration
>>> configuration = FlavaImageConfig()
>>> # Initializing a FlavaImageModel model (with random weights) from the style configuration
>>> model = FlavaImageModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

FlavaMultimodalConfig

`class transformers.FlavaMultimodalConfig`

<来源>

( hidden_size: int = 768 num_hidden_layers: int = 6 num_attention_heads: int = 12 intermediate_size: int = 3072 hidden_act: int = 'gelu' hidden_dropout_prob: int = 0.0 attention_probs_dropout_prob: int = 0.0 initializer_range: float = 0.02 layer_norm_eps: float = 1e-12 qkv_bias: bool = True use_cls_token: bool = True **kwargs )

参数

hidden_size (int，可选，默认为 768) — 编码器层和池化层的维度。
num_hidden_layers (int，可选，默认为 6) — Transformer 编码器中的隐藏层数。
num_attention_heads (int，可选，默认为 12) — Transformer 编码器中每个注意力层的注意力头数。
intermediate_size (int，可选，默认为 3072) — Transformer 编码器中“中间”（即前馈）层的维度。
hidden_act (str或function，可选，默认为"gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"selu"和"gelu_new"。
hidden_dropout_prob (float，可选，默认为 0.0) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。
attention_probs_dropout_prob (float，可选，默认为 0.0) — 注意力概率的 dropout 比率。
initializer_range (float，可选，默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
layer_norm_eps (float，可选，默认为 1e-12) — 层归一化层使用的 epsilon。
qkv_bias (bool，可选，默认为True) — 是否向查询、键和值添加偏置。
use_cls_token (bool，可选，默认为True) — 是否在多模态设置中使用额外的 CLS 标记。通常由 FLAVA 模型需要。

这是用于存储 FlavaMultimodalModel 配置的配置类。根据指定的参数实例化 FLAVA 模型，定义模型架构。

使用默认值实例化配置将产生类似于 FLAVA facebook/flava-full 架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import FlavaMultimodalConfig, FlavaMultimodalModel
>>> # Initializing a FlavaMultimodalModel with  style configuration
>>> configuration = FlavaMultimodalConfig()
>>> # Initializing a FlavaMultimodalModel model (with random weights) from the style configuration
>>> model = FlavaMultimodalModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

FlavaImageCodebookConfig

`class transformers.FlavaImageCodebookConfig`

<来源>

( num_groups: int = 4 input_channels: int = 3 num_blocks_per_group: int = 2 hidden_size: int = 256 vocab_size: int = 8192 freeze: int = True initializer_range: float = 0.02 **kwargs )

FlavaProcessor

`class transformers.FlavaProcessor`

<来源>

( image_processor = None tokenizer = None **kwargs )

参数

image_processor（FlavaImageProcessor，可选）— 图像处理器是必需的输入。
tokenizer（BertTokenizerFast，可选）— Tokenizer 是必需的输入。

构造一个 FLAVA 处理器，将 FLAVA 图像处理器和 FLAVA 标记器包装成单个处理器。

FlavaProcessor 提供了 FlavaImageProcessor 和 BertTokenizerFast 的所有功能。有关更多信息，请参阅__call__()和 decode()。

`batch_decode`

<来源>

( *args **kwargs )

这种方法将其所有参数转发给 BertTokenizerFast 的 batch_decode()。有关更多信息，请参考此方法的文档字符串。

`decode`

<来源>

( *args **kwargs )

这种方法将其所有参数转发给 BertTokenizerFast 的 decode()。有关更多信息，请参考此方法的文档字符串。

FlavaFeatureExtractor

`class transformers.FlavaFeatureExtractor`

<来源>

( *args **kwargs )

FlavaImageProcessor

`class transformers.FlavaImageProcessor`

<来源>

( do_resize: bool = True size: Dict = None resample: Resampling = <Resampling.BICUBIC: 3> do_center_crop: bool = True crop_size: Dict = None do_rescale: bool = True rescale_factor: Union = 0.00392156862745098 do_normalize: bool = True image_mean: Union = None image_std: Union = None return_image_mask: bool = False input_size_patches: int = 14 total_mask_patches: int = 75 mask_group_min_patches: int = 16 mask_group_max_patches: Optional = None mask_group_min_aspect_ratio: float = 0.3 mask_group_max_aspect_ratio: Optional = None return_codebook_pixels: bool = False codebook_do_resize: bool = True codebook_size: bool = None codebook_resample: int = <Resampling.LANCZOS: 1> codebook_do_center_crop: bool = True codebook_crop_size: int = None codebook_do_rescale: bool = True codebook_rescale_factor: Union = 0.00392156862745098 codebook_do_map_pixels: bool = True codebook_do_normalize: bool = True codebook_image_mean: Union = None codebook_image_std: Union = None **kwargs )

参数

do_resize（bool，可选，默认为True）— 是否将图像的（高度，宽度）尺寸调整为指定的size。可以被preprocess中的do_resize参数覆盖。
size（Dict[str, int] 可选，默认为{"height" -- 224, "width": 224}）：调整大小后的图像尺寸。可以被preprocess中的size参数覆盖。
resample（PILImageResampling，可选，默认为PILImageResampling.BICUBIC）— 如果调整图像大小，则要使用的重采样滤镜。可以被preprocess中的resample参数覆盖。
do_center_crop（bool，可选，默认为True）— 是否对图像进行中心裁剪。可以被preprocess中的do_center_crop参数覆盖。
crop_size（Dict[str, int] 可选，默认为{"height" -- 224, "width": 224}）：中心裁剪后图像的大小(crop_size["height"], crop_size["width"])。可以被preprocess中的crop_size参数覆盖。
do_rescale（bool，可选，默认为True）— 是否按指定比例rescale_factor对图像进行重新缩放。可以被preprocess中的do_rescale参数覆盖。
rescale_factor（int或float，可选，默认为1/255）— 如果重新缩放图像，则要使用的比例因子。可以被preprocess中的rescale_factor参数覆盖。
do_normalize（bool，可选，默认为True）— 是否对图像进行归一化。可以被preprocess中的do_normalize参数覆盖。
image_mean (float 或 List[float], optional, 默认为 IMAGENET_STANDARD_MEAN) — 如果对图像进行标准化，则使用的均值。这是一个浮点数或与图像通道数相同长度的浮点数列表。可以被 preprocess 方法中的 image_mean 参数覆盖。
image_std (float 或 List[float], optional, 默认为 IMAGENET_STANDARD_STD) — 如果对图像进行标准化，则使用的标准差。这是一个浮点数或与图像通道数相同长度的浮点数列表。可以被 preprocess 方法中的 image_std 参数覆盖。
return_image_mask (bool, optional, 默认为 False) — 是否返回图像掩码。可以被 preprocess 中的 return_image_mask 参数覆盖。
input_size_patches (int, optional, 默认为 14) — 图像中高度和宽度方向的补丁数。14x14 = 总共 196 个补丁。可以被 preprocess 中的 input_size_patches 参数覆盖。
total_mask_patches (int, optional, 默认为 75) — 应该被遮蔽的总补丁数。可以被 preprocess 中的 total_mask_patches 参数覆盖。
mask_group_min_patches (int, optional, 默认为 16) — 应该被遮蔽的最小补丁数。可以被 preprocess 中的 mask_group_min_patches 参数覆盖。
mask_group_max_patches (int, optional) — 应该被遮蔽的最大补丁数。可以被 preprocess 中的 mask_group_max_patches 参数覆盖。
mask_group_min_aspect_ratio (float, optional, 默认为 0.3) — 掩码窗口的最小长宽比。可以被 preprocess 中的 mask_group_min_aspect_ratio 参数覆盖。
mask_group_max_aspect_ratio (float, optional) — 掩码窗口的最大长宽比。可以被 preprocess 中的 mask_group_max_aspect_ratio 参数覆盖。
codebook_do_resize (bool, optional, 默认为 True) — 是否将输入调整大小以适应码书。可以被 preprocess 中的 codebook_size 参数覆盖。
codebook_size (Dict[str, int], optional, 默认为 {"height" -- 224, "width": 224}): 将输入调整大小以适应码书到指定大小。可以被 preprocess 中的 codebook_size 参数覆盖。
codebook_resample (PILImageResampling, optional, 默认为 PILImageResampling.LANCZOS) — 如果调整码书图像大小，则使用的重采样滤波器。可以被 preprocess 中的 codebook_resample 参数覆盖。
codebook_do_center_crop (bool, optional, 默认为 True) — 是否在码书输入中心裁剪输入。如果输入尺寸沿任何边缘小于 codebook_crop_size，则图像将填充为 0，然后进行中心裁剪。可以被 preprocess 中的 codebook_do_center_crop 参数覆盖。
codebook_crop_size (Dict[str, int], optional, 默认为 {"height" -- 224, "width": 224}): 应用中心裁剪时，码书输入的期望输出大小。可以被 preprocess 中的 codebook_crop_size 参数覆盖。
codebook_do_rescale (bool, optional, 默认为 True) — 是否按照指定的比例因子 codebook_rescale_factor 重新缩放码书输入。可以被 preprocess 中的 codebook_do_rescale 参数覆盖。
codebook_rescale_factor (int 或 float, optional, 默认为 1/255) — 如果重新缩放码书图像，则定义要使用的比例因子。可以被 preprocess 中的 codebook_rescale_factor 参数覆盖。
codebook_do_map_pixels (bool, optional, 默认为 True) — 是否将码书输入的像素值映射到 (1 - 2e)x + e。可以被 preprocess 中的 codebook_do_map_pixels 参数覆盖。
codebook_do_normalize (bool, optional, 默认为 True) — 是否对用于 codebook 的输入进行规范化，使用 codebook_image_mean 和 codebook_image_std。可以被 preprocess 中的 codebook_do_normalize 参数覆盖。
codebook_image_mean (Optional[Union[float, Iterable[float]]], optional, 默认为 [0, 0, 0]) — 每个通道的均值序列，在为 codebook 规范化图像时使用。可以被 preprocess 中的 codebook_image_mean 参数覆盖。
codebook_image_std (Optional[Union[float, Iterable[float]]], optional, 默认为 [0.5, 0.5, 0.5]) — 每个通道的标准差序列，在为 codebook 规范化图像时使用。可以被 preprocess 中的 codebook_image_std 参数覆盖。

构建一个 Flava 图像处理器。

`preprocess`

< source >

( images: Union do_resize: Optional = None size: Dict = None resample: Resampling = None do_center_crop: Optional = None crop_size: Optional = None do_rescale: Optional = None rescale_factor: Optional = None do_normalize: Optional = None image_mean: Union = None image_std: Union = None return_image_mask: Optional = None input_size_patches: Optional = None total_mask_patches: Optional = None mask_group_min_patches: Optional = None mask_group_max_patches: Optional = None mask_group_min_aspect_ratio: Optional = None mask_group_max_aspect_ratio: Optional = None return_codebook_pixels: Optional = None codebook_do_resize: Optional = None codebook_size: Optional = None codebook_resample: Optional = None codebook_do_center_crop: Optional = None codebook_crop_size: Optional = None codebook_do_rescale: Optional = None codebook_rescale_factor: Optional = None codebook_do_map_pixels: Optional = None codebook_do_normalize: Optional = None codebook_image_mean: Optional = None codebook_image_std: Optional = None return_tensors: Union = None data_format: ChannelDimension = <ChannelDimension.FIRST: 'channels_first'> input_data_format: Union = None **kwargs )

参数

images (ImageInput) — 要预处理的图像。期望单个图像或批量图像，像素值范围为 0 到 255。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
do_resize (bool, optional, 默认为 self.do_resize) — 是否调整图像大小。
size (Dict[str, int], optional, 默认为 self.size) — 图像的大小。
resample (int, optional, 默认为 self.resample) — 如果调整图像大小，则使用的重采样滤波器。这可以是 PILImageResampling 枚举值之一，仅在 do_resize 设置为 True 时有效。
do_center_crop (bool, optional, 默认为 self.do_center_crop) — 是否对图像进行中心裁剪。
crop_size (Dict[str, int], optional, 默认为 self.crop_size) — 中心裁剪的大小。仅在 do_center_crop 设置为 True 时有效。
do_rescale (bool, optional, 默认为 self.do_rescale) — 是否将图像值重新缩放在 [0 - 1] 之间。
rescale_factor (float, optional, 默认为 self.rescale_factor) — 如果 do_rescale 设置为 True，则用于重新缩放图像的重新缩放因子。
do_normalize (bool, optional, 默认为 self.do_normalize) — 是否对图像进行规范化。
image_mean (float 或 List[float], optional, 默认为 self.image_mean) — 图像均值。
image_std (float 或 List[float], optional, 默认为 self.image_std) — 图像标准差。
return_image_mask (bool, optional, 默认为 self.return_image_mask) — 是否返回图像掩码。
input_size_patches (int, optional, 默认为 self.input_size_patches) — 从图像中提取的补丁的大小。
total_mask_patches (int, optional, 默认为 self.total_mask_patches) — 从图像中提取的总补丁数。
mask_group_min_patches (int, optional, 默认为 self.mask_group_min_patches) — 从图像中提取的最小补丁数。
mask_group_max_patches (int, optional, 默认为 self.mask_group_max_patches) — 从图像中提取的补丁的最大数量。
mask_group_min_aspect_ratio (float, optional, 默认为 self.mask_group_min_aspect_ratio) — 从图像中提取的补丁的最小长宽比。
mask_group_max_aspect_ratio (float, optional, 默认为 self.mask_group_max_aspect_ratio) — 从图像中提取的补丁的最大长宽比。
return_codebook_pixels (bool, optional, 默认为 self.return_codebook_pixels) — 是否返回 codebook 像素。
codebook_do_resize (bool, optional, 默认为 self.codebook_do_resize) — 是否调整 codebook 像素的大小。
codebook_size (Dict[str, int], optional, 默认为 self.codebook_size) — codebook 像素的大小。
codebook_resample (int, 可选, 默认为 self.codebook_resample) — 如果调整码书像素大小，则要使用的重采样滤波器。这可以是枚举 PILImageResampling 中的一个。仅在 codebook_do_resize 设置为 True 时有效。
codebook_do_center_crop (bool, 可选, 默认为 self.codebook_do_center_crop) — 是否对码书像素进行中心裁剪。
codebook_crop_size (Dict[str, int], 可选, 默认为 self.codebook_crop_size) — 码书像素中心裁剪的大小。仅在 codebook_do_center_crop 设置为 True 时有效。
codebook_do_rescale (bool, 可选, 默认为 self.codebook_do_rescale) — 是否将码书像素值重新缩放到 [0 - 1] 之间。
codebook_rescale_factor (float, 可选, 默认为 self.codebook_rescale_factor) — 如果 codebook_do_rescale 设置为 True，则用于重新缩放码书像素的重新缩放因子。
codebook_do_map_pixels (bool, 可选, 默认为 self.codebook_do_map_pixels) — 是否映射码书像素值。
codebook_do_normalize (bool, 可选, 默认为 self.codebook_do_normalize) — 是否对码书像素进行归一化。
codebook_image_mean (float 或 List[float], 可选, 默认为 self.codebook_image_mean) — 如果 codebook_do_normalize 设置为 True，则用于归一化码书像素的码书像素均值。
codebook_image_std (float 或 List[float], 可选, 默认为 self.codebook_image_std) — 如果 codebook_do_normalize 设置为 True，则用于归一化码书像素的码书像素标准差。
return_tensors (str 或 TensorType, 可选) — 要返回的张量类型。可以是以下之一：

未设置: 返回一个 np.ndarray 列表。
TensorType.TENSORFLOW 或 'tf': 返回类型为 tf.Tensor 的批次。
TensorType.PYTORCH 或 'pt': 返回类型为 torch.Tensor 的批次。
TensorType.NUMPY 或 'np': 返回类型为 np.ndarray 的批次。
TensorType.JAX 或 'jax': 返回类型为 jax.numpy.ndarray 的批次。

data_format (ChannelDimension 或 str, 可选, 默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：

ChannelDimension.FIRST: 图像以 (通道数、高度、宽度) 格式。
ChannelDimension.LAST: 图像以 (高度、宽度、通道数) 格式。

input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，则从输入图像中推断通道维度格式。可以是以下之一：

"channels_first" 或 ChannelDimension.FIRST: 图像以 (通道数、高度、宽度) 格式。
"channels_last" 或 ChannelDimension.LAST: 图像以 (高度、宽度、通道数) 格式。
"none" 或 ChannelDimension.NONE: 图像以 (高度、宽度) 格式。

预处理图像或图像批次。

Transformers 4.37 中文文档（八十六）（3）https://developer.aliyun.com/article/1563238

Transformers 4.37 中文文档（八十六）（2）

DonutSwinModel

`class transformers.DonutSwinModel`

`前向`

FLAVA

概述

FlavaConfig

`class transformers.FlavaConfig`

`from_configs`

FlavaTextConfig

`class transformers.FlavaTextConfig`

FlavaImageConfig

`class transformers.FlavaImageConfig`

FlavaMultimodalConfig

`class transformers.FlavaMultimodalConfig`

FlavaImageCodebookConfig

`class transformers.FlavaImageCodebookConfig`

FlavaProcessor

`class transformers.FlavaProcessor`

`batch_decode`

`decode`

FlavaFeatureExtractor

`class transformers.FlavaFeatureExtractor`

FlavaImageProcessor

`class transformers.FlavaImageProcessor`

`preprocess`

热门文章

最新文章

相关课程

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

Transformers 4.37 中文文档（八十六）（2）

DonutSwinModel

class transformers.DonutSwinModel

前向

FLAVA

概述

FlavaConfig

class transformers.FlavaConfig

from_configs

FlavaTextConfig

class transformers.FlavaTextConfig

FlavaImageConfig

class transformers.FlavaImageConfig

FlavaMultimodalConfig

class transformers.FlavaMultimodalConfig

FlavaImageCodebookConfig

class transformers.FlavaImageCodebookConfig

FlavaProcessor

class transformers.FlavaProcessor

batch_decode

decode

FlavaFeatureExtractor

class transformers.FlavaFeatureExtractor

FlavaImageProcessor

class transformers.FlavaImageProcessor

preprocess

热门文章

最新文章

相关课程

相关电子书

`class transformers.DonutSwinModel`

`前向`

`class transformers.FlavaConfig`

`from_configs`

`class transformers.FlavaTextConfig`

`class transformers.FlavaImageConfig`

`class transformers.FlavaMultimodalConfig`

`class transformers.FlavaImageCodebookConfig`

`class transformers.FlavaProcessor`

`batch_decode`

`decode`

`class transformers.FlavaFeatureExtractor`

`class transformers.FlavaImageProcessor`

`preprocess`