Transformers 4.37 中文文档（七十八）（1）

原文：huggingface.co/docs/transformers

Speech2Text2

原始文本：huggingface.co/docs/transformers/v4.37.2/en/model_doc/speech_to_text_2

概述

Speech2Text2 模型与 Wav2Vec2 一起用于大规模自监督和半监督学习的语音翻译中提出的语音翻译模型，作者为 Changhan Wang，Anne Wu，Juan Pino，Alexei Baevski，Michael Auli，Alexis Conneau。

Speech2Text2 是一种仅解码器变换器模型，可与任何语音仅编码器一起使用，例如 Wav2Vec2 或 HubERT 用于语音到文本任务。请参考 SpeechEncoderDecoder 类，了解如何将 Speech2Text2 与任何语音仅编码器模型结合使用。

此模型由Patrick von Platen贡献。

原始代码可以在这里找到。

使用提示

• Speech2Text2 在 CoVoST 语音翻译数据集上取得了最先进的结果。有关更多信息，请参阅官方模型。
  
• Speech2Text2 始终在 SpeechEncoderDecoder 框架内使用。
  
• Speech2Text2 的分词器基于fastBPE。
  

推理

Speech2Text2 的 SpeechEncoderDecoderModel 模型接受来自语音的原始波形输入值，并利用 generate()将输入语音自回归地翻译为目标语言。

Wav2Vec2FeatureExtractor 类负责预处理输入语音，Speech2Text2Tokenizer  解码生成的目标标记为目标字符串。Speech2Text2Processor 将 Wav2Vec2FeatureExtractor 和  Speech2Text2Tokenizer 封装成单个实例，用于提取输入特征和解码预测的标记 ID。

• 逐步语音翻译

>>> import torch
>>> from transformers import Speech2Text2Processor, SpeechEncoderDecoderModel
>>> from datasets import load_dataset
>>> import soundfile as sf
>>> model = SpeechEncoderDecoderModel.from_pretrained("facebook/s2t-wav2vec2-large-en-de")
>>> processor = Speech2Text2Processor.from_pretrained("facebook/s2t-wav2vec2-large-en-de")
>>> def map_to_array(batch):
...     speech, _ = sf.read(batch["file"])
...     batch["speech"] = speech
...     return batch
>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> ds = ds.map(map_to_array)
>>> inputs = processor(ds["speech"][0], sampling_rate=16_000, return_tensors="pt")
>>> generated_ids = model.generate(inputs=inputs["input_values"], attention_mask=inputs["attention_mask"])
>>> transcription = processor.batch_decode(generated_ids)

• 通过管道进行语音翻译
  自动语音识别管道也可用于仅使用几行代码翻译语音
  

>>> from datasets import load_dataset
>>> from transformers import pipeline
>>> librispeech_en = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> asr = pipeline(
...     "automatic-speech-recognition",
...     model="facebook/s2t-wav2vec2-large-en-de",
...     feature_extractor="facebook/s2t-wav2vec2-large-en-de",
... )
>>> translation_de = asr(librispeech_en[0]["file"])

查看model hub以查找 Speech2Text2 检查点。

资源

• 因果语言建模任务指南

Speech2Text2Config

class transformers.Speech2Text2Config

<来源>

( vocab_size = 10000 decoder_layers = 6 decoder_ffn_dim = 2048 decoder_attention_heads = 4 decoder_layerdrop = 0.0 use_cache = True activation_function = 'relu' d_model = 256 dropout = 0.1 attention_dropout = 0.0 activation_dropout = 0.0 init_std = 0.02 decoder_start_token_id = 2 scale_embedding = True pad_token_id = 1 bos_token_id = 0 eos_token_id = 2 max_target_positions = 1024 **kwargs )

参数

• vocab_size（int，可选，默认为 50265）—Speech2Text 模型的词汇量。定义了在调用 Speech2TextModel 时可以表示的不同标记数量。
  
• d_model（int，可选，默认为 1024）—层和池化层的维度。
  
• decoder_layers（int，可选，默认为 12）—解码器层数。
  
• decoder_attention_heads（int，可选，默认为 16）—Transformer 解码器中每个注意力层的注意力头数。
  
• decoder_ffn_dim (int，可选，默认为 4096) — 解码器中“中间”（通常称为前馈）层的维度。
  
• activation_function (str 或 function，可选，默认为 "gelu") — 池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持 "gelu"、"relu"、"silu" 和 "gelu_new"。
  
• dropout (float，可选，默认为 0.1) — 嵌入层和池化器中所有全连接层的丢失概率。
  
• attention_dropout (float，可选，默认为 0.0) — 注意力概率的丢失比率。
  
• activation_dropout (float，可选，默认为 0.0) — 全连接层内激活的丢失比率。
  
• init_std (float，可选，默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。`arxiv.org/abs/1909.11556>``__ 了解更多详情。
  
• decoder_layerdrop (float，可选，默认为 0.0) — 解码器的 LayerDrop 概率。有关更多详情，请参阅 LayerDrop 论文)。
  
• use_cache (bool，可选，默认为 True) — 模型是否应返回最后的键/值注意力（并非所有模型都使用）。
  
• max_target_positions (int，可选，默认为 1024) — 该模型可能使用的最大序列长度。通常将其设置为较大的值以防万一（例如，512、1024 或 2048）。
  

这是一个配置类，用于存储 Speech2Text2ForCausalLM 的配置。根据指定的参数实例化一个 Speech2Text2 模型，定义模型架构。使用默认值实例化配置将产生类似于 Speech2Text2 facebook/s2t-wav2vec2-large-en-de 架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 中的文档以获取更多信息。

示例：

>>> from transformers import Speech2Text2Config, Speech2Text2ForCausalLM
>>> # Initializing a Speech2Text2 s2t_transformer_s style configuration
>>> configuration = Speech2Text2Config()
>>> # Initializing a model (with random weights) from the s2t_transformer_s style configuration
>>> model = Speech2Text2ForCausalLM(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

Speech2TextTokenizer

class transformers.Speech2Text2Tokenizer

< source >

( vocab_file bos_token = '<s>' pad_token = '<pad>' eos_token = '</s>' unk_token = '<unk>' do_lower_case = False merges_file = None **kwargs )

参数

• vocab_file (str) — 包含词汇表的文件。
  
• bos_token (str，可选，默认为 "") — 句子的开头标记。
  
• eos_token (str，可选，默认为 "") — 句子的结尾标记。
  
• unk_token (str，可选，默认为 "") — 未知标记。词汇表中不存在的标记无法转换为 ID，而是设置为此标记。
  
• pad_token (str，可选，默认为 "") — 用于填充的标记，例如在批处理不同长度的序列时使用。
  **kwargs — 传递给 PreTrainedTokenizer 的其他关键字参数。
  

构造一个 Speech2Text2Tokenizer。

该分词器继承自 PreTrainedTokenizer，其中包含一些主要方法。用户应参考超类以获取有关这些方法的更多信息。

batch_decode

< source >

( sequences: Union skip_special_tokens: bool = False clean_up_tokenization_spaces: bool = None **kwargs ) → export const metadata = 'undefined';List[str]

参数

• sequences (Union[List[int], List[List[int]], np.ndarray, torch.Tensor, tf.Tensor]) — token 化输入 id 的列表。可以使用__call__方法获得。
  
• skip_special_tokens (bool, 可选, 默认为False) — 是否在解码中删除特殊标记。
  
• clean_up_tokenization_spaces (bool, 可选) — 是否清除 tokenization 空格。如果为None，将默认为self.clean_up_tokenization_spaces。
  
• kwargs (额外的关键字参数, 可选) — 将传递给底层模型特定的解码方法。
  

返回

List[str]

解码后的句子列表。

通过调用 decode 将 token id 的列表转换为字符串列表。

decode

<来源>

( token_ids: Union skip_special_tokens: bool = False clean_up_tokenization_spaces: bool = None **kwargs ) → export const metadata = 'undefined';str

参数

• token_ids (Union[int, List[int], np.ndarray, torch.Tensor, tf.Tensor]) — token 化输入 id 的列表。可以使用__call__方法获得。
  
• skip_special_tokens (bool, 可选, 默认为False) — 是否在解码中删除特殊标记。
  
• clean_up_tokenization_spaces (bool, 可选) — 是否清除 tokenization 空格。如果为None，将默认为self.clean_up_tokenization_spaces。
  
• kwargs (额外的关键字参数, 可选) — 将传递给底层模型特定的解码方法。
  

返回

str

解码后的句子。

使用分词器和词汇表将 id 序列转换为字符串，具有删除特殊标记和清除 tokenization 空格的选项。

类似于执行self.convert_tokens_to_string(self.convert_ids_to_tokens(token_ids))。

save_vocabulary

<来源>

( save_directory: str filename_prefix: Optional = None )

Speech2Text2Processor

class transformers.Speech2Text2Processor

<来源>

( feature_extractor tokenizer )

参数

• feature_extractor (AutoFeatureExtractor) — 一个 AutoFeatureExtractor 的实例。特征提取器是必需的输入。
  
• tokenizer (Speech2Text2Tokenizer) — 一个 Speech2Text2Tokenizer 的实例。Tokenizer 是必需的输入。
  

构建一个 Speech2Text2 处理器，将 Speech2Text2 特征提取器和 Speech2Text2 分词器包装成一个单一处理器。

Speech2Text2Processor 提供了 AutoFeatureExtractor 和 Speech2Text2Tokenizer 的所有功能。查看更多信息，请参考call()和 decode()。

__call__

<来源>

( *args **kwargs )

在正常模式下使用时，此方法将所有参数转发给 AutoFeatureExtractor 的__call__()并返回其输出。如果在上下文as_target_processor()中使用此方法，则将所有参数转发给 Speech2Text2Tokenizer 的call()。请参考上述两种方法的文档以获取更多信息。

from_pretrained

<来源>

( pretrained_model_name_or_path: Union cache_dir: Union = None force_download: bool = False local_files_only: bool = False token: Union = None revision: str = 'main' **kwargs )

参数

• pretrained_model_name_or_path (str或os.PathLike) — 这可以是：

• 一个字符串，huggingface.co 模型存储库中托管的预训练特征提取器的模型 ID。有效的模型 ID 可以位于根级别，如bert-base-uncased，或命名空间在用户或组织名称下，如dbmdz/bert-base-german-cased。
  
• 一个包含使用 save_pretrained()方法保存的特征提取器文件的目录路径，例如./my_model_directory/。
  
• 一个保存特征提取器 JSON 文件的路径或 URL，例如./my_model_directory/preprocessor_config.json。**kwargs — 传递给 from_pretrained()和~tokenization_utils_base.PreTrainedTokenizer.from_pretrained的额外关键字参数。
  

实例化与预训练模型相关联的处理器。

这个类方法只是调用特征提取器 from_pretrained()、图像处理器 ImageProcessingMixin 和标记器~tokenization_utils_base.PreTrainedTokenizer.from_pretrained方法。更多信息请参考上述方法的文档字符串。

save_pretrained

<来源>

( save_directory push_to_hub: bool = False **kwargs )

参数

• save_directory (str或os.PathLike) — 特征提取器 JSON 文件和标记器文件将保存在的目录（如果目录不存在，将创建该目录）。
  
• push_to_hub (bool, 可选, 默认为False) — 是否在保存后将模型推送到 Hugging Face 模型中心。您可以使用repo_id指定要推送到的存储库（将默认为您的命名空间中的save_directory名称）。
  
• kwargs (Dict[str, Any], 可选) — 传递给 push_to_hub()方法的额外关键字参数。
  

将该处理器的属性（特征提取器、标记器等）保存在指定目录中，以便可以使用 from_pretrained()方法重新加载。

这个类方法只是调用 save_pretrained()和 save_pretrained()。更多信息请参考上述方法的文档字符串。

batch_decode

<来源>

( *args **kwargs )

这个方法将所有参数转发到 Speech2Text2Tokenizer 的 batch_decode()。更多信息请参考该方法的文档字符串。

decode

<来源>

( *args **kwargs )

这个方法将所有参数转发到 Speech2Text2Tokenizer 的 decode()。更多信息请参考该方法的文档字符串。

Speech2Text2ForCausalLM

class transformers.Speech2Text2ForCausalLM

<来源>

( config )

参数

• config（Speech2Text2Config）— 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

带有语言建模头的 Speech2Text2 解码器。可用作 EncoderDecoderModel 和SpeechEncoderDecoder的解码器部分。此模型继承自 PreTrainedModel。查看超类文档，了解库为其所有模型实现的通用方法（如下载或保存、调整输入嵌入、修剪头等）。

这个模型也是一个 PyTorch torch.nn.Module子类。将其用作常规的 PyTorch 模块，并参考 PyTorch 文档以获取与一般用法和行为相关的所有内容。

forward

<来源>

( input_ids: Optional = None attention_mask: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None head_mask: Optional = None cross_attn_head_mask: Optional = None past_key_values: Optional = None inputs_embeds: Optional = None labels: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.CausalLMOutputWithCrossAttentions or tuple(torch.FloatTensor)

参数

• input_ids（形状为(batch_size, sequence_length)的torch.LongTensor）— 词汇表中输入序列标记的索引。默认情况下将忽略填充。
  可以使用 Speech2Text2Tokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
  什么是输入 ID？
  
• attention_mask（形状为(batch_size, sequence_length)的torch.Tensor，可选）— 用于避免在填充标记索引上执行注意力的掩码。选择的掩码值在[0, 1]中：

• 对于未屏蔽的标记，
  
• 0 表示标记为屏蔽。
  

• 什么是注意力掩码？
  
• encoder_hidden_states（形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可选）— 编码器最后一层的隐藏状态序列。如果模型配置为解码器，则在交叉注意力中使用。
  
• encoder_attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）— 用于避免在编码器输入的填充标记索引上执行注意力的掩码。如果模型配置为解码器，则在交叉注意力中使用。选择的掩码值在[0, 1]中：
  
• head_mask（形状为(decoder_layers, decoder_attention_heads)的torch.Tensor，可选）— 用于使注意力模块的选定头部失效的掩码。选择的掩码值在[0, 1]中：

• 1 表示头部未被屏蔽，
  
• 0 表示头部被屏蔽。
  

• cross_attn_head_mask（形状为(decoder_layers, decoder_attention_heads)的torch.Tensor，可选）— 用于使交叉注意力模块的选定头部失效的掩码。选择的掩码值在[0, 1]中：

• 1 表示头部未被屏蔽，
  
• 0 表示头部被屏蔽。
  

• past_key_values (tuple(tuple(torch.FloatTensor)), optional, 当传递use_cache=True或config.use_cache=True时返回） — 长度为config.n_layers的tuple(torch.FloatTensor)元组，每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)的张量，以及 2 个额外的形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)的张量。当模型用作序列到序列模型中的解码器时，这两个额外的张量是必需的。
  包含预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码（请参阅past_key_values输入）。
  如果使用了past_key_values，用户可以选择仅输入形状为(batch_size, 1)的最后一个decoder_input_ids（那些没有将它们的过去键值状态提供给此模型的）而不是形状为(batch_size, sequence_length)的所有decoder_input_ids。
  
• labels (torch.LongTensor，形状为(batch_size, sequence_length)，optional) — 用于计算掩码语言建模损失的标签。索引应该在[0, ..., config.vocab_size]范围内，或者为-100（请参阅input_ids文档字符串）。索引设置为-100的标记将被忽略（被masked），损失仅计算具有标签在[0, ..., config.vocab_size]范围内的标记。
  
• use_cache (bool, optional) — 如果设置为True，将返回past_key_values键值状态，并可用于加速解码（请参阅past_key_values）。

• 对于未被masked的标记为 1，
  
• 对于被masked的标记为 0。
  

• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。
  
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。
  
• return_dict (bool, optional) — 是否返回一个 ModelOutput 而不是一个普通元组。
  

返回

transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或torch.FloatTensor元组

一个 transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False）包含根据配置（Speech2Text2Config）和输入的不同元素。

• loss (torch.FloatTensor，形状为(1,)，optional, 当提供labels时返回) — 语言建模损失（用于下一个标记预测）。
  
• logits (torch.FloatTensor，形状为(batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前每个词汇标记的分数）。
  
• hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回） — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出，如果模型有嵌入层，+ 一个用于每个层的输出）。
  模型在每个层的输出隐藏状态以及可选的初始嵌入输出。
  
• attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回） — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  在注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
  
• cross_attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）— 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  在注意力 softmax 之后的交叉注意力权重，用于计算交叉注意力头中的加权平均值。
  
• past_key_values（tuple(tuple(torch.FloatTensor))，可选，当传递use_cache=True或config.use_cache=True时返回）— 长度为config.n_layers的torch.FloatTensor元组，每个元组包含自注意力和交叉注意力层的缓存键、值状态，如果模型用于编码器-解码器设置，则相关。仅在config.is_decoder = True时相关。
  包含预先计算的隐藏状态（注意力块中的键和值），可用于加速顺序解码。（请参见past_key_values输入）
  

示例：

>>> from transformers import (
...     SpeechEncoderDecoderModel,
...     Speech2Text2ForCausalLM,
...     Wav2Vec2Model,
...     Speech2Text2Config,
...     Wav2Vec2Config,
...     Wav2Vec2FeatureExtractor,
...     Speech2Text2Tokenizer,
... )
>>> from datasets import load_dataset
>>> feature_extractor = Wav2Vec2FeatureExtractor()
>>> tokenizer = Speech2Text2Tokenizer.from_pretrained("facebook/s2t-wav2vec2-large-en-de")
>>> encoder = Wav2Vec2Model(Wav2Vec2Config())
>>> decoder = Speech2Text2ForCausalLM(Speech2Text2Config())
>>> # init random speech2text model
>>> model = SpeechEncoderDecoderModel(encoder=encoder, decoder=decoder)
>>> model.config.pad_token_id = tokenizer.pad_token_id
>>> model.config.decoder_start_token_id = tokenizer.bos_token_id
>>> # pre-process inputs and labels
>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> inputs = feature_extractor(
...     ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["sampling_rate"], return_tensors="pt"
... )
>>> input_values = inputs.input_values
>>> decoder_input_ids = tokenizer(ds[0]["text"], return_tensors="pt").input_ids
>>> # compute loss
>>> loss = model(inputs=input_values, labels=decoder_input_ids).loss
>>> # backprop loss
>>> loss.backward()

Transformers 4.37 中文文档（七十八）（2）https://developer.aliyun.com/article/1564160