Transformers 4.37 中文文档（九十三）（1）-阿里云开发者社区

原文：huggingface.co/docs/transformers

Pix2Struct

原始文本: huggingface.co/docs/transformers/v4.37.2/en/model_doc/pix2struct

概述

Pix2Struct 模型是由 Kenton Lee, Mandar Joshi, Iulia Turc, Hexiang Hu, Fangyu Liu, Julian Eisenschlos, Urvashi Khandelwal, Peter Shaw, Ming-Wei Chang, Kristina Toutanova 在《Pix2Struct: Screenshot Parsing as Pretraining for Visual Language Understanding》中提出的。

论文摘要如下:

视觉定位语言是无处不在的 — 源头包括带有图表的教科书、带有图像和表格的网页，以及带有按钮和表单的移动应用程序。也许正是由于这种多样性，先前的工作通常依赖于具有限制性的领域特定配方，对底层数据、模型架构和目标的共享有限。我们提出了 Pix2Struct，这是一个预训练的图像到文本模型，用于纯粹的视觉语言理解，可以在包含视觉定位语言的任务上进行微调。Pix2Struct 通过学习将屏幕截图的掩码解析为简化的 HTML 来进行预训练。网络，其丰富的视觉元素清晰地反映在 HTML 结构中，为下游任务的多样性提供了大量的预训练数据。直观地说，这个目标包含了常见的预训练信号，如 OCR、语言建模、图像字幕。除了新颖的预训练策略，我们还引入了可变分辨率的输入表示和更灵活的语言和视觉输入集成，其中语言提示（如问题）直接呈现在输入图像的顶部。我们首次展示，单个预训练模型可以在四个领域的九项任务中的六项中取得最先进的结果: 文档、插图、用户界面和自然图像。

提示:

Pix2Struct 已经在各种任务和数据集上进行了微调，包括图像字幕、视觉问答（VQA）以及不同输入（书籍、图表、科学图表）、字幕 UI 组件等。完整列表可以在论文的表 1 中找到。因此，我们建议您将这些模型用于它们已经进行微调的任务。例如，如果您想要将 Pix2Struct 用于 UI 字幕，您应该使用在 UI 数据集上进行微调的模型。如果您想要将 Pix2Struct 用于图像字幕，您应该使用在自然图像字幕数据集上进行微调的模型，依此类推。

如果您想要使用模型执行有条件的文本字幕，确保使用add_special_tokens=False的处理器。

该模型由ybelkada贡献。原始代码可以在这里找到。

资源

Pix2StructConfig

`class transformers.Pix2StructConfig`

<来源>

( text_config = None vision_config = None initializer_factor = 1.0 initializer_range = 0.02 is_vqa = False tie_word_embeddings = False is_encoder_decoder = True **kwargs )

参数

text_config (dict, 可选) — 用于初始化 Pix2StructTextConfig 的配置选项字典。
vision_config (dict, 可选) — 用于初始化 Pix2StructVisionConfig 的配置选项字典。
initializer_factor (float, 可选, 默认为 1.0) — 用于乘以初始化范围的因子。
initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
is_vqa (bool, 可选, 默认为False) — 模型是否已经为 VQA 进行了微调。
kwargs (optional) — 关键字参数的字典。

Pix2StructConfig 是用于存储 Pix2StructForConditionalGeneration 配置的配置类。根据指定的参数实例化 Pix2Struct 模型，定义文本模型和视觉模型配置。使用默认值实例化配置将产生类似于 Pix2Struct-base google/pix2struct-base 架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读来自 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import Pix2StructConfig, Pix2StructForConditionalGeneration
>>> # Initializing a Pix2StructConfig with google/pix2struct-base style configuration
>>> configuration = Pix2StructConfig()
>>> # Initializing a Pix2StructForConditionalGeneration (with random weights) from the google/pix2struct-base style configuration
>>> model = Pix2StructForConditionalGeneration(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config
>>> # We can also initialize a Pix2StructConfig from a Pix2StructTextConfig and a Pix2StructVisionConfig
>>> # Initializing a Pix2Struct text and Pix2Struct vision configuration
>>> config_text = Pix2StructTextConfig()
>>> config_vision = Pix2StructVisionConfig()
>>> config = Pix2StructConfig.from_text_vision_configs(config_text, config_vision)

`from_text_vision_configs`

< source >

( text_config: Pix2StructTextConfig vision_config: Pix2StructVisionConfig **kwargs ) → export const metadata = 'undefined';Pix2StructConfig

Pix2StructConfig

配置对象的一个实例

从 pix2struct 文本模型配置和 pix2struct 视觉模型配置实例化一个 Pix2StructConfig（或派生类）。

Pix2StructTextConfig

`class transformers.Pix2StructTextConfig`

< source >

( vocab_size = 50244 hidden_size = 768 d_kv = 64 d_ff = 2048 num_layers = 12 num_heads = 12 relative_attention_num_buckets = 32 relative_attention_max_distance = 128 dropout_rate = 0.1 layer_norm_epsilon = 1e-06 initializer_factor = 1.0 dense_act_fn = 'gelu_new' decoder_start_token_id = 0 use_cache = False pad_token_id = 0 eos_token_id = 1 tie_word_embeddings = False is_decoder = True **kwargs )

参数

vocab_size (int, optional, defaults to 50244) — Pix2Struct 文本模型的词汇量。定义了在调用 Pix2StructTextModel 时可以表示的不同标记数量。
hidden_size (int, optional, defaults to 768) — 编码器层和池化层的维度。
d_kv (int, optional, defaults to 64) — 每个注意力头中键、查询、值投影的维度。
d_ff (int, optional, defaults to 2048) — Transformer 编码器中“中间”（即前馈）层的维度。
num_layers (int, optional, defaults to 12) — Transformer 编码器中的隐藏层数量。
num_heads (int, optional, defaults to 12) — Transformer 编码器中每个注意力层的注意力头数量。
relative_attention_num_buckets (int, optional, defaults to 32) — 每个注意力层使用的桶数量。
relative_attention_max_distance (int, optional, defaults to 128) — 用于桶分离的较长序列的最大距离。
dropout_rate (float, optional, defaults to 0.1) — 嵌入层、编码器和池化器中所有全连接层的丢弃概率。
layer_norm_epsilon (float, optional, defaults to 1e-6) — 层归一化层使用的 epsilon。
initializer_factor (float, optional, defaults to 1.0) — 初始化所有权重矩阵的因子（应保持为 1，用于内部初始化测试）。
dense_act_fn (Union[Callable, str], optional, defaults to "gelu_new") — 非线性激活函数（函数或字符串）。
decoder_start_token_id (int, optional, defaults to 0) — decoder_start_token_id 标记的 id。
use_cache (bool, optional, defaults to False) — 模型是否应返回最后的键/值注意力（并非所有模型都使用）。
pad_token_id (int, optional, defaults to 0) — padding 标记的 id。
eos_token_id (int, optional, defaults to 1) — end-of-sequence 标记的 id。

这是用于存储 Pix2StructTextModel 配置的配置类。根据指定的参数实例化 Pix2Struct 文本模型，定义模型架构。使用默认实例化配置将产生类似于 Pix2Struct 文本解码器的配置，该解码器由google/pix2struct-base架构使用。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import Pix2StructTextConfig, Pix2StructTextModel
>>> # Initializing a Pix2StructTextConfig with google/pix2struct-base style configuration
>>> configuration = Pix2StructTextConfig()
>>> # Initializing a Pix2StructTextModel (with random weights) from the google/pix2struct-base style configuration
>>> model = Pix2StructTextModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

Pix2StructVisionConfig

`class transformers.Pix2StructVisionConfig`

<来源>

( hidden_size = 768 patch_embed_hidden_size = 768 d_ff = 2048 d_kv = 64 num_hidden_layers = 12 num_attention_heads = 12 dense_act_fn = 'gelu_new' layer_norm_eps = 1e-06 dropout_rate = 0.0 attention_dropout = 0.0 initializer_range = 1e-10 initializer_factor = 1.0 seq_len = 4096 relative_attention_num_buckets = 32 relative_attention_max_distance = 128 **kwargs )

参数

hidden_size (int, optional, 默认为 768) — 编码器层和池化器层的维度。
patch_embed_hidden_size (int, optional, 默认为 768) — Transformer 编码器中输入 patch_embedding 层的维度。
d_ff (int, optional, 默认为 2048) — Transformer 编码器中“中间”（即前馈）层的维度。
d_kv (int, optional, 默认为 64) — 每个注意力头部的键、查询、值投影的维度。
num_hidden_layers (int, optional, 默认为 12) — Transformer 编码器中的隐藏层数量。
num_attention_heads (int, optional, 默认为 12) — Transformer 编码器中每个注意力层的注意力头数量。
dense_act_fn (str或function, optional, 默认为"gelu_new") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"selu"和"gelu_new" "gelu"。
layer_norm_eps (float, optional, 默认为 1e-06) — 层归一化层使用的 epsilon。
dropout_rate (float, optional, 默认为 0.0) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。
attention_dropout (float, optional, 默认为 0.0) — 注意力概率的 dropout 比率。
initializer_range (float, optional, 默认为 1e-10) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
initializer_factor (float, optional, 默认为 1.0) — 用于初始化所有权重矩阵的因子（应保持为 1，用于内部初始化测试）。
seq_len (int, optional, 默认为 4096) — 模型支持的最大序列长度（这里是 patch 的数量）。
relative_attention_num_buckets (int, optional, 默认为 32) — 每个注意力层使用的桶数量。
relative_attention_max_distance (int, optional, 默认为 128) — 每个注意力层使用的最大距离（以标记为单位）。

这是用于存储 Pix2StructVisionModel 配置的配置类。根据指定的参数实例化 Pix2Struct 视觉模型，定义模型架构。使用默认实例化配置将产生类似于 Pix2Struct-base google/pix2struct-base架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import Pix2StructVisionConfig, Pix2StructVisionModel
>>> # Initializing a Pix2StructVisionConfig with google/pix2struct-base style configuration
>>> configuration = Pix2StructVisionConfig()
>>> # Initializing a Pix2StructVisionModel (with random weights) from the google/pix2struct-base style configuration
>>> model = Pix2StructVisionModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

Pix2StructProcessor

`class transformers.Pix2StructProcessor`

<来源>

( image_processor tokenizer )

参数

image_processor (Pix2StructImageProcessor) — 一个 Pix2StructImageProcessor 的实例。图像处理器是必需的输入。
tokenizer (Union[T5TokenizerFast, T5Tokenizer]) — 一个[‘T5TokenizerFast]或[‘T5Tokenizer]的实例。Tokenizer 是必需的输入。

构建一个 PIX2STRUCT 处理器，将 BERT tokenizer 和 PIX2STRUCT 图像处理器封装成一个处理器。

Pix2StructProcessor 提供了 Pix2StructImageProcessor 和 T5TokenizerFast 的所有功能。查看__call__()和 decode()的文档字符串以获取更多信息。

`batch_decode`

<来源>

( *args **kwargs )

这个方法将所有参数转发给 Pix2StructTokenizerFast 的 batch_decode()。请参考此方法的文档字符串以获取更多信息。

`decode`

<来源>

( *args **kwargs )

这个方法将所有参数转发给 Pix2StructTokenizerFast 的 decode()。请参考此方法的文档字符串以获取更多信息。

Pix2StructImageProcessor

`class transformers.Pix2StructImageProcessor`

<来源>

( do_convert_rgb: bool = True do_normalize: bool = True patch_size: Dict = None max_patches: int = 2048 is_vqa: bool = False **kwargs )

参数

do_convert_rgb (bool, 可选, 默认为 True) — 是否将图像转换为 RGB 格式。
do_normalize (bool, 可选, 默认为 True) — 是否对图像进行归一化。可以被preprocess方法中的do_normalize参数覆盖。根据 Pix2Struct 论文和代码，图像使用自己的均值和标准差进行归一化。
patch_size (Dict[str, int], 可选, 默认为 {"height" -- 16, "width": 16}): 用于图像的补丁大小。根据 Pix2Struct 论文和代码，补丁大小为 16x16。
max_patches (int, 可选, 默认为 2048) — 从图像中提取的最大补丁数，根据Pix2Struct 论文。
is_vqa (bool, 可选, 默认为 False) — 图像处理器是否用于 VQA 任务。如果为True并且传入了header_text，则文本将呈现在输入图像上。

构建一个 Pix2Struct 图像处理器。

`preprocess`

<来源>

( images: Union header_text: Optional = None do_convert_rgb: bool = None do_normalize: Optional = None max_patches: Optional = None patch_size: Optional = None return_tensors: Union = None data_format: ChannelDimension = <ChannelDimension.FIRST: 'channels_first'> input_data_format: Union = None **kwargs )

参数

images (ImageInput) — 要预处理的图像。期望单个图像或图像批次。
header_text (Union[List[str], str], 可选) — 要呈现为标题的文本。仅当image_processor.is_vqa为True时才有效。
do_convert_rgb（bool，可选，默认为 self.do_convert_rgb）— 是否将图像转换为 RGB。
do_normalize（bool，可选，默认为 self.do_normalize）— 是否对图像进行标准化。
max_patches（int，可选，默认为 self.max_patches）— 要提取的最大补丁数。
patch_size（dict，可选，默认为 self.patch_size）— 包含补丁高度和宽度的字典。
return_tensors（str 或 TensorType，可选）— 要返回的张量类型。可以是以下之一：

未设置：返回一个 np.ndarray 列表。
TensorType.TENSORFLOW 或 'tf'：返回类型为 tf.Tensor 的批次。
TensorType.PYTORCH 或 'pt'：返回类型为 torch.Tensor 的批次。
TensorType.NUMPY 或 'np'：返回类型为 np.ndarray 的批次。
TensorType.JAX 或 'jax'：返回类型为 jax.numpy.ndarray 的批次。

data_format（ChannelDimension 或 str，可选，默认为 ChannelDimension.FIRST）— 输出图像的通道维度格式。可以是以下之一：

"channels_first" 或 ChannelDimension.FIRST：图像以 (num_channels, height, width) 格式表示。
"channels_last" 或 ChannelDimension.LAST：图像以 (height, width, num_channels) 格式表示。
未设置：使用输入图像的通道维度格式。

input_data_format（ChannelDimension 或 str，可选）— 输入图像的通道维度格式。如果未设置，将从输入图像中推断通道维度格式。可以是以下之一：

"channels_first" 或 ChannelDimension.FIRST：图像以 (num_channels, height, width) 格式表示。
"channels_last" 或 ChannelDimension.LAST：图像以 (height, width, num_channels) 格式表示。
"none" 或 ChannelDimension.NONE：图像以 (height, width) 格式表示。

预处理图像或图像批次。处理器首先计算可以从图像中提取的保持纵横比的大小为 patch_size 的最大可能数量的补丁。然后，它使用零填充图像，使图像遵守 max_patches 的约束。在提取补丁之前，图像将按照 tensorflow 的 per_image_standardization 实现进行标准化（www.tensorflow.org/api_docs/python/tf/image/per_image_standardization）。

Pix2StructTextModel

`class transformers.Pix2StructTextModel`

<来源>

( config )

参数

config（Union[Pix2StructConfig, Pix2StructTextConfig]）— 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。

Pix2Struct 的独立文本解码器

Pix2Struct 模型由 Kenton Lee, Mandar Joshi, Iulia Turc, Hexiang Hu, Fangyu Liu, Julian Eisenschlos, Urvashi Khandelwal, Peter Shaw, Ming-Wei Chang, Kristina Toutanova 在 Pix2Struct: Screenshot Parsing as Pretraining for Visual Language Understanding 中提出。它是一个在图像到文本设置下进行预训练的编码器解码器 transformer 模型。

该模型继承自 PreTrainedModel。查看超类文档以了解库为所有模型实现的通用方法（如下载或保存、调整输入嵌入、修剪头等）。

该模型还是一个 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以了解所有与一般用法和行为相关的事项。

`forward`

< source >

( input_ids: Optional = None attention_mask: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None inputs_embeds: Optional = None head_mask: Optional = None cross_attn_head_mask: Optional = None past_key_values: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None labels: Optional = None return_dict: Optional = None **kwargs ) → export const metadata = 'undefined';transformers.modeling_outputs.CausalLMOutputWithCrossAttentions or tuple(torch.FloatTensor)

参数

input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。Pix2StructText 是一个带有相对位置嵌入的模型，因此您应该能够在右侧和左侧填充输入。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
什么是输入 ID？
要了解有关如何为预训练准备input_ids的更多信息，请查看 Pix2StructText Training。
attention_mask (torch.FloatTensor of shape (batch_size, sequence_length), optional) — 避免在填充标记索引上执行注意力的掩码。掩码值在 [0, 1] 中选择：

1 表示未被屏蔽的标记，
0 表示被屏蔽的标记。

什么是注意力掩码？
decoder_input_ids (torch.LongTensor of shape (batch_size, target_sequence_length), optional) — 词汇表中解码器输入序列标记的索引。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
什么是解码器输入 ID？
Pix2StructText 使用pad_token_id作为decoder_input_ids生成的起始标记。如果使用past_key_values，可选择仅输入最后的decoder_input_ids（参见past_key_values）。
要了解有关如何为预训练准备decoder_input_ids的更多信息，请查看 Pix2StructText Training。
decoder_attention_mask (torch.BoolTensor of shape (batch_size, target_sequence_length), optional) — 默认行为：生成一个张量，忽略decoder_input_ids中的填充标记。因果掩码也将默认使用。
head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 编码器中自注意力模块中选择性屏蔽头部的掩码。掩码值在 [0, 1] 中选择：

1 表示头部未被屏蔽，
0 表示头部被屏蔽。

decoder_head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 解码器中自注意力模块中选择性屏蔽头部的掩码。掩码值在 [0, 1] 中选择：

1 表示头部未被屏蔽。
0 表示头部被屏蔽。

cross_attn_head_mask (torch.Tensor of shape (num_heads,) or (num_layers, num_heads), optional) — 解码器中交叉注意力模块中选择性屏蔽头部的掩码。掩码值在 [0, 1] 中选择：

1 表示头部未被屏蔽。
0 表示头部被屏蔽。

encoder_outputs (tuple(tuple(torch.FloatTensor), optional) — 元组包括（last_hidden_state，可选：hidden_states，可选：attentions）last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size)，是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。
past_key_values (tuple(tuple(torch.FloatTensor))，长度为config.n_layers，每个元组有 4 个形状为(batch_size, num_heads, sequence_length - 1, embed_size_per_head)的张量） — 包含注意力层的预计算键和值隐藏状态。可用于加速解码。
如果使用past_key_values，用户可以选择仅输入形状为(batch_size, 1)的最后一个decoder_input_ids（那些没有将它们的过去键值状态提供给此模型的）而不是形状为(batch_size, sequence_length)的所有decoder_input_ids。
inputs_embeds (torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递input_ids。如果您想要更多控制如何将input_ids索引转换为相关向量，而不是使用模型的内部嵌入查找矩阵，这将非常有用。
decoder_inputs_embeds (torch.FloatTensor，形状为(batch_size, target_sequence_length, hidden_size)，可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递decoder_input_ids。如果使用past_key_values，可以选择仅输入最后一个decoder_inputs_embeds（请参阅past_key_values）。如果您想要更多控制如何将decoder_input_ids索引转换为相关向量，而不是使用模型的内部嵌入查找矩阵，这将非常有用。
如果decoder_input_ids和decoder_inputs_embeds都未设置，则decoder_inputs_embeds取inputs_embeds的值。
use_cache (bool, optional) — 如果设置为True，将返回past_key_values键值状态，并可用于加速解码（请参阅past_key_values）。
output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。
return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通元组。

transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或一个torch.FloatTensor元组（如果传递了return_dict=False或config.return_dict=False，或者当config.return_dict=False时）包含根据配置（Pix2StructConfig）和输入的不同元素。

loss (torch.FloatTensor，形状为(1,)，可选，当提供labels时返回) — 语言建模损失（用于下一个标记预测）。
logits (torch.FloatTensor，形状为(batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前每个词汇标记的分数）。
hidden_states (tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回） — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（如果模型具有嵌入层的输出，则为一个 + 每层的输出）。
每层模型的隐藏状态以及可选的初始嵌入输出。
attentions (tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回） — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
cross_attentions (tuple(torch.FloatTensor)，optional，当传递output_attentions=True或config.output_attentions=True时返回） — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
自注意力模块中注意力 softmax 后的交叉注意力权重，用于计算交叉注意力头中的加权平均值。
past_key_values (tuple(tuple(torch.FloatTensor)), optional, 当传递use_cache=True或config.use_cache=True时返回 — 长度为config.n_layers的torch.FloatTensor元组，每个元组包含自注意力和交叉注意力层的缓存键、值状态，如果模型在编码器-解码器设置中使用，则相关。仅在config.is_decoder = True时相关。
包含预先计算的隐藏状态（注意力块中的键和值），可用于加速顺序解码（请参阅past_key_values输入）。

Pix2StructTextModel 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的步骤需要在此函数内定义，但应该在此之后调用Module实例，而不是在此处调用，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoProcessor, Pix2StructTextModel
>>> processor = AutoProcessor.from_pretrained("google/pix2struct-textcaps-base")
>>> model = Pix2StructTextModel.from_pretrained("google/pix2struct-textcaps-base")
>>> inputs = processor(text="Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs)
>>> loss = outputs.loss

Pix2StructVisionModel

`class transformers.Pix2StructVisionModel`

< source >

( config: Pix2StructConfig )

参数

config（Pix2StructConfig） — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

裸的 Pix2StructVision Model 变压器输出原始隐藏状态，没有特定的头部。这个模型是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取与一般用法和行为相关的所有事项。

`forward`

< source >

( flattened_patches: Optional = None attention_mask: Optional = None head_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.BaseModelOutputWithPooling or tuple(torch.FloatTensor)

参数

flattened_patches (torch.FloatTensor，形状为(batch_size, sequence_length, num_channels x patch_height x patch_width)） — 扁平化和填充的像素值。这些值可以使用 AutoImageProcessor 获得。有关详细信息，请参阅Pix2StructVisionImageProcessor.__call__。查看原始论文（图 5）以获取更多详细信息。
attention_mask (torch.FloatTensor，形状为(batch_size, sequence_length)，optional) — 用于避免在填充像素值上执行注意力的掩码。掩码值选择在[0, 1]之间：
head_mask (torch.FloatTensor，形状为(num_heads,)或(num_layers, num_heads)，optional) — 用于使自注意力模块的选定头部失效的掩码。掩码值选择在[0, 1]之间：

1 表示头部是not masked，
0 表示头部是masked。

output_attentions (bool，optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。
output_hidden_states (bool，optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。
return_dict（bool，可选）-是否返回 ModelOutput 而不是普通元组。

transformers.modeling_outputs.BaseModelOutputWithPooling 或tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个torch.FloatTensor元组（如果传递了return_dict=False或config.return_dict=False时）包含根据配置（Pix2StructConfig）和输入的不同元素。

last_hidden_state（形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor）-模型最后一层输出的隐藏状态序列。
pooler_output（形状为(batch_size, hidden_size)的torch.FloatTensor）-序列第一个标记（分类标记）的最后一层隐藏状态，在通过用于辅助预训练任务的层进一步处理后。例如，对于 BERT 系列模型，这将返回经过线性层和 tanh 激活函数处理后的分类标记。线性层的权重是在预训练期间从下一个句子预测（分类）目标中训练的。
hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）-形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入层的输出，如果模型有嵌入层，+一个用于每层的输出）。
模型在每一层输出的隐藏状态以及可选的初始嵌入输出。
attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）-形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
在注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

Pix2StructVisionModel 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的步骤需要在此函数内定义，但应该在此之后调用Module实例，而不是在此处调用，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。

示例：

>>> import requests
>>> from PIL import Image
>>> from transformers import AutoProcessor, Pix2StructVisionModel
>>> image_processor = AutoProcessor.from_pretrained("google/pix2struct-textcaps-base")
>>> model = Pix2StructVisionModel.from_pretrained("google/pix2struct-textcaps-base")
>>> url = "https://www.ilankelman.org/stopsigns/australia.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 2048, 768]

Transformers 4.37 中文文档（九十三）（2）https://developer.aliyun.com/article/1564060

Transformers 4.37 中文文档（九十三）（1）

Pix2Struct

概述

资源

Pix2StructConfig

`class transformers.Pix2StructConfig`

`from_text_vision_configs`

Pix2StructTextConfig

`class transformers.Pix2StructTextConfig`

Pix2StructVisionConfig

`class transformers.Pix2StructVisionConfig`

Pix2StructProcessor

`class transformers.Pix2StructProcessor`

`batch_decode`

`decode`

Pix2StructImageProcessor

`class transformers.Pix2StructImageProcessor`

`preprocess`

Pix2StructTextModel

`class transformers.Pix2StructTextModel`

`forward`

Pix2StructVisionModel

`class transformers.Pix2StructVisionModel`

`forward`

热门文章

最新文章

相关电子书

探索云世界

热门

云计算

大数据

云原生

人工智能

数据库

开发与运维

活动广场

任务中心

训练营

直播

乘风者计划

下载

镜像站

技术资料

Transformers 4.37 中文文档（九十三）（1）

Pix2Struct

概述

资源

Pix2StructConfig

class transformers.Pix2StructConfig

from_text_vision_configs

Pix2StructTextConfig

class transformers.Pix2StructTextConfig

Pix2StructVisionConfig

class transformers.Pix2StructVisionConfig

Pix2StructProcessor

class transformers.Pix2StructProcessor

batch_decode

decode

Pix2StructImageProcessor

class transformers.Pix2StructImageProcessor

preprocess

Pix2StructTextModel

class transformers.Pix2StructTextModel

forward

Pix2StructVisionModel

class transformers.Pix2StructVisionModel

forward

热门文章

最新文章

相关电子书

`class transformers.Pix2StructConfig`

`from_text_vision_configs`

`class transformers.Pix2StructTextConfig`

`class transformers.Pix2StructVisionConfig`

`class transformers.Pix2StructProcessor`

`batch_decode`

`decode`

`class transformers.Pix2StructImageProcessor`

`preprocess`

`class transformers.Pix2StructTextModel`

`forward`

`class transformers.Pix2StructVisionModel`

`forward`