Transformers 4.37 中文文档（八十）（1）-阿里云开发者社区

原文：huggingface.co/docs/transformers

Wav2Vec2-BERT

原始文本：huggingface.co/docs/transformers/v4.37.2/en/model_doc/wav2vec2-bert

概述

Wav2Vec2-BERT 模型是由 Meta AI 的 Seamless Communication 团队在Seamless: Multilingual Expressive and Streaming Speech Translation中提出的。

该模型在超过 143 种语言的 450 万小时未标记音频数据上进行了预训练。需要微调才能用于下游任务，如自动语音识别（ASR）或音频分类。

模型的官方结果可在论文的第 3.2.1 节中找到。

论文摘要如下：

最近在自动语音翻译方面取得的进展大大扩展了语言覆盖范围，提高了多模态能力，并实现了各种任务和功能。尽管如此，今天的大规模自动语音翻译系统缺乏一些关键功能，这些功能有助于使机器中介的沟通与人与人之间的对话感觉更加流畅。在这项工作中，我们介绍了一系列模型，以流式方式实现端到端的表达丰富和多语言翻译。首先，我们贡献了一个改进版本的大规模多语言和多模态 SeamlessM4T 模型——SeamlessM4T v2。这个更新的模型采用了更新的 UnitY2 框架，训练了更多低资源语言数据。扩展版本的 SeamlessAlign 增加了 114,800 小时的自动对齐数据，涵盖了 76 种语言。SeamlessM4T v2 为我们的两个最新模型 SeamlessExpressive 和 SeamlessStreaming 提供了基础。SeamlessExpressive 实现了保留语音风格和韵律的翻译。与以往在表达性语音研究中的努力相比，我们的工作解决了一些未充分探索的韵律方面，如语速和停顿，同时保留了个人声音的风格。至于 SeamlessStreaming，我们的模型利用了高效单调多头注意力（EMMA）机制，生成低延迟的目标翻译，无需等待完整的源话语。作为首创，SeamlessStreaming 实现了多源和目标语言的同时语音到语音/文本翻译。为了了解这些模型的性能，我们结合了新颖和修改过的现有自动度量标准的版本，以评估韵律、延迟和稳健性。对于人类评估，我们改编了现有的针对衡量保留意义、自然性和表现力最相关属性的协议。为了确保我们的模型可以安全和负责任地使用，我们实施了第一个已知的多模态机器翻译红队行动，一个用于检测和减轻添加毒性的系统，一个系统性评估性别偏见，以及一个设计用于减轻深度伪造影响的不可听见的本地水印机制。因此，我们将 SeamlessExpressive 和 SeamlessStreaming 的主要组件结合起来，形成了 Seamless，这是第一个公开可用的系统，可以实时解锁表达丰富的跨语言沟通。总之，Seamless 为我们提供了需要将通用语音翻译器从科幻概念变成现实技术所需的技术基础的关键视角。最后，本工作的贡献——包括模型、代码和水印检测器——已经公开发布，并可通过下面的链接访问。

此模型由ylacombe贡献。原始代码可在此处找到。

使用提示

Wav2Vec2-BERT 遵循与 Wav2Vec2-Conformer 相同的架构，但采用因果深度卷积层，并使用音频的梅尔频谱表示作为输入，而不是原始波形。
Wav2Vec2-BERT 可以通过设置正确的config.position_embeddings_type来使用无相对位置嵌入、类似 Shaw 的位置嵌入、类似 Transformer-XL 的位置嵌入或旋转位置嵌入。
Wav2Vec2-BERT 还引入了基于 Conformer 的适配器网络，而不是简单的卷积网络。

资源

自动语音识别

Wav2Vec2BertForCTC 可以通过这个示例脚本来支持。
您还可以在如何在英语中微调语音识别模型和如何在任何语言中微调语音识别模型上调整这些笔记本。

音频分类

Wav2Vec2BertForSequenceClassification 可以通过调整这个示例脚本来使用。
另请参阅：音频分类任务指南

Wav2Vec2BertConfig

`class transformers.Wav2Vec2BertConfig`

<来源>

( vocab_size = None hidden_size = 1024 num_hidden_layers = 24 num_attention_heads = 16 intermediate_size = 4096 feature_projection_input_dim = 160 hidden_act = 'swish' hidden_dropout = 0.0 activation_dropout = 0.0 attention_dropout = 0.0 feat_proj_dropout = 0.0 final_dropout = 0.1 layerdrop = 0.1 initializer_range = 0.02 layer_norm_eps = 1e-05 apply_spec_augment = True mask_time_prob = 0.05 mask_time_length = 10 mask_time_min_masks = 2 mask_feature_prob = 0.0 mask_feature_length = 10 mask_feature_min_masks = 0 ctc_loss_reduction = 'sum' ctc_zero_infinity = False use_weighted_layer_sum = False classifier_proj_size = 768 tdnn_dim = (512, 512, 512, 512, 1500) tdnn_kernel = (5, 3, 3, 1, 1) tdnn_dilation = (1, 2, 3, 1, 1) xvector_output_dim = 512 pad_token_id = 0 bos_token_id = 1 eos_token_id = 2 add_adapter = False adapter_kernel_size = 3 adapter_stride = 2 num_adapter_layers = 1 adapter_act = 'relu' use_intermediate_ffn_before_adapter = False output_hidden_size = None position_embeddings_type = 'relative_key' rotary_embedding_base = 10000 max_source_positions = 5000 left_max_position_embeddings = 64 right_max_position_embeddings = 8 conv_depthwise_kernel_size = 31 conformer_conv_dropout = 0.1 **kwargs )

参数

vocab_size（int，可选）—Wav2Vec2Bert 模型的词汇量。定义了在调用 Wav2Vec2BertModel 时可以表示的不同令牌的数量。模型的词汇量。定义了可以由传递给 Wav2Vec2BertModel 的inputs_ids表示的不同令牌。
hidden_size（int，可选，默认为 1024）—编码器层和池化器层的维度。
num_hidden_layers（int，可选，默认为 24）—Transformer 编码器中的隐藏层数。
num_attention_heads（int，可选，默认为 16）—Transformer 编码器中每个注意力层的注意力头数。
intermediate_size（int，可选，默认为 4096）—Transformer 编码器中“中间”（即前馈）层的维度。
feature_projection_input_dim（int，可选，默认为 160）—此模型的输入维度，即使用 SeamlessM4TFeatureExtractor 或 Wav2Vec2BertProcessor 处理输入音频后的维度。
hidden_act（str或function，可选，默认为"swish"）—编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"selu"、"swish"和"gelu_new"。
hidden_dropout（float，可选，默认为 0.0）—嵌入层、编码器和池化器中所有全连接层的丢失概率。
activation_dropout（float，可选，默认为 0.0）—全连接层内激活的丢失比率。
attention_dropout（float，可选，默认为 0.0）—注意力概率的丢失比率。
feat_proj_dropout（float，可选，默认为 0.0）—特征投影的丢失概率。
final_dropout (float, optional, defaults to 0.1) — Wav2Vec2BertForCTC 最终投影层的丢弃概率。
layerdrop (float, optional, defaults to 0.1) — LayerDrop 概率。更多细节请参阅 LayerDrop 论文)。
initializer_range (float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
layer_norm_eps (float, optional, defaults to 1e-05) — 层归一化层使用的 epsilon 值。
apply_spec_augment (bool, optional, defaults to True) — 是否对特征编码器的输出应用 SpecAugment 数据增强。有关详细信息，请参阅 SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition。
mask_time_prob (float, optional, defaults to 0.05) — 沿时间轴的所有特征向量中将被掩盖的百分比（介于 0 和 1 之间）。掩盖过程在轴上生成 mask_time_prob*len(time_axis)/mask_time_length 个独立的掩码。如果从每个特征向量被选择为掩盖的向量跨度起始的概率推理，mask_time_prob 应该是 prob_vector_start*mask_time_length。请注意，重叠可能会降低实际掩盖向量的百分比。只有在 apply_spec_augment 为 True 时才相关。
mask_time_length (int, optional, defaults to 10) — 沿时间轴的向量跨度长度。
mask_time_min_masks (int, optional, defaults to 2) — 沿时间轴生成的长度为 mask_feature_length 的掩码的最小数量，每个时间步，与 mask_feature_prob 无关。只有在 mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks 时才相关。
mask_feature_prob (float, optional, defaults to 0.0) — 沿特征轴的所有特征向量中将被掩盖的百分比（介于 0 和 1 之间）。掩盖过程在轴上生成 mask_feature_prob*len(feature_axis)/mask_time_length 个独立的掩码。如果从每个特征向量被选择为掩盖的向量跨度起始的概率推理，mask_feature_prob 应该是 prob_vector_start*mask_feature_length。请注意，重叠可能会降低实际掩盖向量的百分比。只有在 apply_spec_augment 为 True 时才相关。
mask_feature_length (int, optional, defaults to 10) — 沿特征轴的向量跨度长度。
mask_feature_min_masks (int, optional, defaults to 0) — 沿特征轴生成的长度为 mask_feature_length 的掩码的最小数量，每个时间步，与 mask_feature_prob 无关。只有在 mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks 时才相关。
ctc_loss_reduction (str, optional, defaults to "sum") — 指定应用于 torch.nn.CTCLoss 输出的减少方式。只有在训练 Wav2Vec2BertForCTC 实例时才相关。
ctc_zero_infinity (bool, optional, defaults to False) — 是否将无限损失和 torch.nn.CTCLoss 的相关梯度置零。当输入太短无法与目标对齐时，主要会出现无限损失。只有在训练 Wav2Vec2BertForCTC 实例时才相关。
use_weighted_layer_sum (bool, optional, defaults to False) — 是否使用具有学习权重的层输出的加权平均值。只有在使用 Wav2Vec2BertForSequenceClassification 实例时才相关。
classifier_proj_size (int, optional, defaults to 768) — 用于分类的令牌均值池化之前的投影的维度。
tdnn_dim (Tuple[int] or List[int], optional, defaults to (512, 512, 512, 512, 1500)) — 一个整数元组，定义了 XVector 模型中 TDNN 模块中每个 1D 卷积层的输出通道数。tdnn_dim 的长度定义了 TDNN 层的数量。
tdnn_kernel (Tuple[int] or List[int], optional, defaults to (5, 3, 3, 1, 1)) — 一个整数元组，定义了 XVector 模型中 TDNN 模块中每个 1D 卷积层的内核大小。tdnn_kernel 的长度必须与 tdnn_dim 的长度相匹配。
tdnn_dilation (Tuple[int] or List[int], optional, defaults to (1, 2, 3, 1, 1)) — 一个整数元组，定义了 XVector 模型中 TDNN 模块中每个 1D 卷积层的膨胀因子。tdnn_dilation 的长度必须与 tdnn_dim 的长度相匹配。
xvector_output_dim (int, optional, defaults to 512) — XVector 嵌入向量的维度。
pad_token_id (int, optional, defaults to 0) — 开始流 标记的 id。
bos_token_id (int, optional, defaults to 1) — 填充标记的 id。
eos_token_id (int, optional, defaults to 2) — 结束流 标记的 id。
add_adapter (bool, optional, defaults to False) — 是否在 Wav2Vec2Bert 编码器顶部堆叠卷积注意力网络。对于为 SpeechEncoderDecoder 模型热启动 Wav2Vec2Bert 非常有用。
adapter_kernel_size (int, optional, defaults to 3) — 适配器网络中卷积层的内核大小。只有在 add_adapter 为 True 时才相关。
adapter_stride (int, optional, defaults to 2) — 适配器网络中卷积层的步幅。只有在 add_adapter 为 True 时才相关。
num_adapter_layers (int, optional, defaults to 1) — 应在适配器网络中使用的卷积层的数量。只有在 add_adapter 为 True 时才相关。
adapter_act (str or function, optional, defaults to "relu") — 适配器层中的非线性激活函数（函数或字符串）。如果是字符串，支持 "gelu"、"relu"、"selu"、"swish" 和 "gelu_new"。
use_intermediate_ffn_before_adapter (bool, optional, defaults to False) — 是否在 Wav2Vec2Bert 编码器顶部和适配器网络之前堆叠中间前馈块。只有在 add_adapter 为 True 时才相关。
output_hidden_size (int, optional) — 编码器输出层的维度。如果未定义，则默认为 hidden-size。只有在 add_adapter 为 True 时才相关。
position_embeddings_type (str, optional, defaults to "relative_key") — 可以指定为：

rotary，用于旋转位置嵌入。
relative，用于相对位置嵌入。
relative_key，用于由 Shaw 在 Self-Attention with Relative Position Representations (Shaw et al.) 中定义的相对位置嵌入。如果保留为 None，则不应用相对位置嵌入。

rotary_embedding_base (int, optional, defaults to 10000) — 如果使用了 “rotary” 位置嵌入，定义了嵌入基数的大小。
max_source_positions (int, optional, defaults to 5000) — 如果使用了 “relative” 位置嵌入，定义了最大源输入位置。
left_max_position_embeddings (int, optional, defaults to 64) — 如果使用了 “relative_key”（又名 Shaw）位置嵌入，定义了相对位置的左剪切值。
right_max_position_embeddings (int, optional, defaults to 8) — 如果使用了 “relative_key”（又名 Shaw）位置嵌入，定义了相对位置的右剪切值。
conv_depthwise_kernel_size (int, optional, defaults to 31) — Conformer 块中深度可分离 1D 卷积层的内核大小。
conformer_conv_dropout (float, 可选, 默认为 0.1) — Conformer 块中所有卷积层的丢弃概率。

这是用于存储 Wav2Vec2BertModel 配置的配置类。它用于根据指定的参数实例化 Wav2Vec2Bert 模型，定义模型架构。使用默认值实例化配置将产生类似于 Wav2Vec2Bert facebook/wav2vec2-bert-rel-pos-large架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import Wav2Vec2BertConfig, Wav2Vec2BertModel
>>> # Initializing a Wav2Vec2Bert facebook/wav2vec2-bert-rel-pos-large style configuration
>>> configuration = Wav2Vec2BertConfig()
>>> # Initializing a model (with random weights) from the facebook/wav2vec2-bert-rel-pos-large style configuration
>>> model = Wav2Vec2BertModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

Wav2Vec2BertProcessor

`class transformers.Wav2Vec2BertProcessor`

<来源>

( feature_extractor tokenizer )

参数

feature_extractor (SeamlessM4TFeatureExtractor) — SeamlessM4TFeatureExtractor 的实例。特征提取器是必需的输入。
tokenizer (PreTrainedTokenizer) — PreTrainedTokenizer 的实例。Tokenizer 是必需的输入。

构建一个 Wav2Vec2-BERT 处理器，将 Wav2Vec2-BERT 特征提取器和 Wav2Vec2 CTC tokenizer 封装到单个处理器中。

Wav2Vec2Processor 提供了 SeamlessM4TFeatureExtractor 和 PreTrainedTokenizer 的所有功能。查看call()和 decode()的文档字符串以获取更多信息。

`call`

<来源>

( audio = None text = None **kwargs ) → export const metadata = 'undefined';BatchEncoding

参数

text (str, List[str], List[List[str]]) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果将序列提供为字符串列表（预分词），则必须设置is_split_into_words=True（以消除与序列批次的歧义）。
audio (np.ndarray, torch.Tensor, List[np.ndarray], List[torch.Tensor]) — 要准备的音频或音频批次。每个音频可以是 NumPy 数组或 PyTorch 张量。在 NumPy 数组/PyTorch 张量的情况下，每个音频的形状应为（C，T），其中 C 是通道数，T 是音频的采样长度。
kwargs (可选) — 将传递给特征提取器和/或 tokenizer 的剩余关键字参数字典。

BatchEncoding

具有以下字段的 BatchEncoding：

input_features — 要馈送给模型的音频输入特征。当audio不为None时返回。
attention_mask — 指定当audio不为None时模型应关注哪些时间戳的索引列表。当仅指定text时，返回标记注意力掩码。
labels — 要提供给模型的标记 id 列表。当text和audio都不是None时返回。
input_ids — 要提供给模型的标记 id 列表。当text不是None且audio是None时返回。

准备模型一个或多个序列和音频的主要方法。如果audio不是None，则此方法将audio和kwargs参数转发给 SeamlessM4TFeatureExtractor 的call()以预处理音频。为了准备目标序列，如果text不是None，则此方法将text和kwargs参数转发给 PreTrainedTokenizer 的call()。更多信息请参考上述两个方法的文档字符串。

pad

<来源>

( input_features = None labels = None **kwargs )

如果input_features不是None，则此方法将input_features和kwargs参数转发给 SeamlessM4TFeatureExtractor 的 pad()以填充输入特征。如果labels不是None，则此方法将labels和kwargs参数转发给 PreTrainedTokenizer 的 pad()以填充标签。更多信息请参考上述两个方法的文档字符串。

`from_pretrained`

<来源>

( pretrained_model_name_or_path **kwargs )

`save_pretrained`

<来源>

( save_directory push_to_hub: bool = False **kwargs )

参数

save_directory (str或os.PathLike) — 特征提取器 JSON 文件和标记器文件将保存在的目录（如果目录不存在，则将创建该目录）。
push_to_hub (bool, optional, 默认为False) — 是否在保存模型后将其推送到 Hugging Face 模型中心。您可以使用repo_id指定要推送到的存储库（将默认为您的命名空间中的save_directory的名称）。
kwargs (Dict[str, Any], optional) — 传递给 push_to_hub()方法的额外关键字参数。

将此处理器的属性（特征提取器、标记器等）保存在指定目录中，以便可以使用 from_pretrained()方法重新加载。

此类方法简单地调用 save_pretrained()和 save_pretrained()。更多信息请参考上述方法的文档字符串。

`batch_decode`

<来源>

( *args **kwargs )

此方法将其所有参数转发给 PreTrainedTokenizer 的 batch_decode()。更多信息请参考此方法的文档字符串。

`decode`

<来源>

( *args **kwargs )

此方法将其所有参数转发给 PreTrainedTokenizer 的 decode()。有关更多信息，请参阅此方法的文档字符串。

Wav2Vec2BertModel

`类 transformers.Wav2Vec2BertModel`

< source >

( config: Wav2Vec2BertConfig )

参数

config (Wav2Vec2BertConfig) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

裸 Wav2Vec2Bert 模型变压器输出原始隐藏状态，没有特定的顶部头。Wav2Vec2Bert 是由 Alexei Baevski、Henry Zhou、Abdelrahman Mohamed、Michael Auli 提出的wav2vec 2.0:自监督学习语音表示的框架。

此模型继承自 PreTrainedModel。检查超类文档以了解库为所有模型实现的通用方法（例如下载或保存等）。

此模型是 PyTorch nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

`前向`

< source >

( input_features: Optional attention_mask: Optional = None mask_time_indices: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.Wav2Vec2BaseModelOutput or tuple(torch.FloatTensor)

参数

input_features (torch.FloatTensor，形状为(batch_size, sequence_length)) — 输入原始语音波形的浮点值。值可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得，例如通过 soundfile 库（pip install soundfile）。要准备好数组为input_features，应使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。有关详细信息，请参阅 Wav2Vec2BertProcessor.call()。
attention_mask (torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 用于避免在填充标记索引上执行卷积和注意力的掩码。掩码值选择在[0, 1]中：

对于未屏蔽的标记，
对于屏蔽的标记为 0。

什么是注意力掩码？
output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的attentions。
output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的hidden_states。
return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

transformers.modeling_outputs.Wav2Vec2BaseModelOutput 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.Wav2Vec2BaseModelOutput 或者一个 torch.FloatTensor 元组（如果传入 return_dict=False 或者 config.return_dict=False）包含不同的元素，取决于配置（Wav2Vec2BertConfig）和输入。

last_hidden_state (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层的隐藏状态序列。
extract_features (torch.FloatTensor of shape (batch_size, sequence_length, conv_dim[-1])) — 模型最后一个卷积层提取的特征向量序列。
hidden_states (tuple(torch.FloatTensor)，可选，当传入 output_hidden_states=True 或者 config.output_hidden_states=True 时返回） — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入的输出 + 一个用于每一层的输出）。
模型在每一层的隐藏状态加上初始嵌入输出。
attentions (tuple(torch.FloatTensor)，可选，当传入 output_attentions=True 或者 config.output_attentions=True 时返回） — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每一层一个）。
注意力权重在注意力 softmax 之后，用于计算自注意力头中的加权平均值。

Wav2Vec2BertModel 的前向方法，覆盖了 __call__ 特殊方法。

虽然前向传递的方法需要在这个函数内定义，但应该在之后调用 Module 实例，而不是这个，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoProcessor, Wav2Vec2BertModel
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> processor = AutoProcessor.from_pretrained("hf-audio/wav2vec2-bert-CV16-en")
>>> model = Wav2Vec2BertModel.from_pretrained("hf-audio/wav2vec2-bert-CV16-en")
>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 146, 1024]

Wav2Vec2BertForCTC

`class transformers.Wav2Vec2BertForCTC`

< source >

( config target_lang: Optional = None )

参数

config (Wav2Vec2BertConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained() 方法以加载模型权重。

带有顶部 语言建模 头部的 Wav2Vec2Bert 模型，用于 Connectionist Temporal Classification (CTC)。Wav2Vec2Bert 在 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations 中由 Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, Michael Auli 提出。

这个模型继承自 PreTrainedModel。查看超类文档以了解库为所有模型实现的通用方法（如下载或保存等）。

这个模型是 PyTorch nn.Module 的子类。将其用作常规的 PyTorch 模块，并参考 PyTorch 文档以了解所有与一般用法和行为相关的事项。

`forward`

< source >

( input_features: Optional attention_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None labels: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.CausalLMOutput or tuple(torch.FloatTensor)

参数

input_features (torch.FloatTensor，形状为(batch_size, sequence_length)) — 输入原始语音波形的浮点值。值可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得，例如通过 soundfile 库(pip install soundfile)。要将数组准备成input_features，应使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。详情请参见 Wav2Vec2BertProcessor.call()。
attention_mask (torch.LongTensor，形状为(batch_size, sequence_length)，optional) — 用于避免在填充标记索引上执行卷积和注意力的掩码。掩码值选择在[0, 1]：

对于未被掩码的标记为1，
对于被掩码的标记为0。

什么是注意力掩码？
output_attentions (bool，optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量中的attentions。
output_hidden_states (bool，optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量中的hidden_states。
return_dict (bool，optional) — 是否返回 ModelOutput 而不是普通元组。
labels (torch.LongTensor，形状为(batch_size, target_length)，optional) — 连接主义时间分类的标签。注意target_length必须小于或等于输出 logits 的序列长度。索引选择在[-100, 0, ..., config.vocab_size - 1]。所有设置为-100的标签将被忽略（掩码），损失仅计算在[0, ..., config.vocab_size - 1]中的标签。

transformers.modeling_outputs.CausalLMOutput 或tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.CausalLMOutput 或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False）包含各种元素，具体取决于配置（Wav2Vec2BertConfig）和输入。

loss (torch.FloatTensor，形状为(1,)，optional，当提供labels时返回) — 语言建模损失（用于下一个标记预测）。
logits (torch.FloatTensor，形状为(batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前每个词汇标记的分数）。
hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组。
模型在每一层输出的隐藏状态以及可选的初始嵌入输出。
attentions (tuple(torch.FloatTensor)，optional，当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
在注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

Wav2Vec2BertForCTC 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的步骤需要在此函数内定义配方，但应该在此之后调用Module实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoProcessor, Wav2Vec2BertForCTC
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> processor = AutoProcessor.from_pretrained("hf-audio/wav2vec2-bert-CV16-en")
>>> model = Wav2Vec2BertForCTC.from_pretrained("hf-audio/wav2vec2-bert-CV16-en")
>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)
>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
'mr quilter is the apostle of the middle classes and we are glad to welcome his gospel'
>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids
>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
17.04

Wav2Vec2BertForSequenceClassification

`class transformers.Wav2Vec2BertForSequenceClassification`

<来源>

( config )

参数

config（Wav2Vec2BertConfig） — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

带有顶部序列分类头（在池化输出上的线性层）的 Wav2Vec2Bert 模型，用于 SUPERB 关键词检测等任务。

Wav2Vec2Bert 由 Alexei Baevski、Henry Zhou、Abdelrahman Mohamed、Michael Auli 在wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations中提出。

此模型继承自 PreTrainedModel。查看超类文档以了解库为所有模型实现的通用方法（如下载或保存等）。

此模型是 PyTorch nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

`forward`

<来源>

( input_features: Optional attention_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None labels: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.SequenceClassifierOutput or tuple(torch.FloatTensor)

参数

input_features (torch.FloatTensor，形状为(batch_size, sequence_length)) — 输入原始语音波形的浮点值。值可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得，例如通过 soundfile 库（pip install soundfile）。要将数组准备成input_features，应使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。有关详细信息，请参阅 Wav2Vec2BertProcessor.call()。
attention_mask (torch.LongTensor，形状为(batch_size, sequence_length)，optional) — 用于避免在填充标记索引上执行卷积和注意力的掩码。掩码值选在[0, 1]范围内：

对于未被masked的标记为 1，
对于被masked的标记为 0。

什么是注意力掩码？
output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的attentions。
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的hidden_states。
return_dict (bool, optional) — 是否返回一个 ModelOutput 而不是一个普通的元组。
labels (torch.LongTensor，形状为(batch_size,)，optional) — 用于计算序列分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]范围内。如果config.num_labels == 1，则计算回归损失（均方损失），如果config.num_labels > 1，则计算分类损失（交叉熵）。

transformers.modeling_outputs.SequenceClassifierOutput 或tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.SequenceClassifierOutput 或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False）包含各种元素，取决于配置（Wav2Vec2BertConfig）和输入。

loss (torch.FloatTensor of shape (1,), optional, returned when labels is provided) — 分类（如果 config.num_labels==1 则为回归）损失。
logits (torch.FloatTensor of shape (batch_size, config.num_labels)) — 分类（如果 config.num_labels==1 则为回归）得分（SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 一个用于每个层的输出）。
每个层的模型输出的隐藏状态加上可选的初始嵌入输出。
attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每个层一个）。
注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

Wav2Vec2BertForSequenceClassification 的前向方法覆盖了__call__特殊方法。

虽然前向传递的步骤需要在这个函数内定义，但应该在之后调用Module实例，而不是这个函数，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoFeatureExtractor, Wav2Vec2BertForSequenceClassification
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained("facebook/w2v-bert-2.0")
>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> predicted_class_ids = torch.argmax(logits, dim=-1).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> # compute loss - target_label is e.g. "down"
>>> target_label = model.config.id2label[0]
>>> inputs["labels"] = torch.tensor([model.config.label2id[target_label]])
>>> loss = model(**inputs).loss

Transformers 4.37 中文文档（八十）（2）https://developer.aliyun.com/article/1563214

Transformers 4.37 中文文档（八十）（1）

Wav2Vec2-BERT

概述

使用提示

资源

Wav2Vec2BertConfig

`class transformers.Wav2Vec2BertConfig`

Wav2Vec2BertProcessor

`class transformers.Wav2Vec2BertProcessor`

`call`

`from_pretrained`

`save_pretrained`

`batch_decode`

`decode`

Wav2Vec2BertModel

`类 transformers.Wav2Vec2BertModel`

`前向`

Wav2Vec2BertForCTC

`class transformers.Wav2Vec2BertForCTC`

`forward`

Wav2Vec2BertForSequenceClassification

`class transformers.Wav2Vec2BertForSequenceClassification`

`forward`

热门文章

最新文章

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

Transformers 4.37 中文文档（八十）（1）

Wav2Vec2-BERT

概述

使用提示

资源

Wav2Vec2BertConfig

class transformers.Wav2Vec2BertConfig

Wav2Vec2BertProcessor

class transformers.Wav2Vec2BertProcessor

__call__

from_pretrained

save_pretrained

batch_decode

decode

Wav2Vec2BertModel

类 transformers.Wav2Vec2BertModel

前向

Wav2Vec2BertForCTC

class transformers.Wav2Vec2BertForCTC

forward

Wav2Vec2BertForSequenceClassification

class transformers.Wav2Vec2BertForSequenceClassification

forward

热门文章

最新文章

相关电子书

`class transformers.Wav2Vec2BertConfig`

`class transformers.Wav2Vec2BertProcessor`

`call`

`from_pretrained`

`save_pretrained`

`batch_decode`

`decode`

`类 transformers.Wav2Vec2BertModel`

`前向`

`class transformers.Wav2Vec2BertForCTC`

`forward`

`class transformers.Wav2Vec2BertForSequenceClassification`

`forward`