Transformers 4.37 中文文档（八十）（3）https://developer.aliyun.com/article/1563215
Wav2Vec2Phoneme
原始文本：
huggingface.co/docs/transformers/v4.37.2/en/model_doc/wav2vec2_phoneme
概述
Wav2Vec2Phoneme 模型是由 Qiantong Xu、Alexei Baevski、Michael Auli 在Simple and Effective Zero-shot Cross-lingual Phoneme Recognition (Xu et al., 2021中提出的。
该论文的摘要如下：
最近在自训练、自监督预训练和无监督学习方面取得的进展使得语音识别系统在没有任何标记数据的情况下表现良好。然而，在许多情况下，存在相关语言的标记数据，但这些方法没有利用这些数据。本文通过微调多语言预训练的 wav2vec 2.0 模型来扩展之前关于零样本跨语言迁移学习的工作，以转录未见过的语言。这是通过使用发音特征将训练语言的音素映射到目标语言来实现的。实验证明，这种简单的方法明显优于之前引入了任务特定架构并且仅使用了部分单语预训练模型的工作。
相关的检查点可以在huggingface.co/models?other=phoneme-recognition下找到。
该模型由patrickvonplaten贡献
原始代码可以在这里找到。
使用提示
- Wav2Vec2Phoneme 使用与 Wav2Vec2 完全相同的架构
- Wav2Vec2Phoneme 是一个接受与语音信号的原始波形对应的浮点数组的语音模型。
- Wav2Vec2Phoneme 模型是使用连接主义时间分类（CTC）进行训练的，因此模型输出必须使用 Wav2Vec2PhonemeCTCTokenizer 进行解码。
- Wav2Vec2Phoneme 可以同时在多种语言上进行微调，并在单次前向传递中将未见过的语言解码为一系列音素。
- 默认情况下，该模型输出一系列音素。为了将音素转换为一系列单词，应该使用字典和语言模型。
Wav2Vec2Phoneme 的架构基于 Wav2Vec2 模型，有关 API 参考，请查看Wav2Vec2的文档页面，除了标记器。
Wav2Vec2PhonemeCTCTokenizer
class transformers.Wav2Vec2PhonemeCTCTokenizer
( vocab_file bos_token = '<s>' eos_token = '</s>' unk_token = '<unk>' pad_token = '<pad>' phone_delimiter_token = ' ' word_delimiter_token = None do_phonemize = True phonemizer_lang = 'en-us' phonemizer_backend = 'espeak' **kwargs )
参数
vocab_file(str) — 包含词汇表的文件。bos_token(str, 可选，默认为"") — 句子开始标记。eos_token(str, 可选，默认为"") — 句子结束标记。unk_token(str, 可选，默认为"") — 未知标记。词汇表中没有的标记无法转换为 ID，而是设置为此标记。pad_token(str, 可选，默认为"") — 用于填充的标记，例如在批处理不同长度的序列时。do_phonemize(bool, 可选，默认为True) — 标记器是否应该对输入进行音素化。只有当将一系列音素传递给标记器时，do_phonemize应设置为False。phonemizer_lang(str, 可选，默认为"en-us") — 标记器应将输入文本音素化为的音素集的语言。phonemizer_backend(str, 可选，默认为"espeak") — 由音素化库使用的后端音素化库。默认为espeak-ng。更多信息请参见phonemizer package。
**kwargs — 传递给 PreTrainedTokenizer 的额外关键字参数
构建一个 Wav2Vec2PhonemeCTC 分词器。
该分词器继承自 PreTrainedTokenizer，其中包含一些主要方法。用户应参考超类以获取有关这些方法的更多信息。
__call__
( text: Union = None text_pair: Union = None text_target: Union = None text_pair_target: Union = None add_special_tokens: bool = True padding: Union = False truncation: Union = None max_length: Optional = None stride: int = 0 is_split_into_words: bool = False pad_to_multiple_of: Optional = None return_tensors: Union = None return_token_type_ids: Optional = None return_attention_mask: Optional = None return_overflowing_tokens: bool = False return_special_tokens_mask: bool = False return_offsets_mapping: bool = False return_length: bool = False verbose: bool = True **kwargs ) → export const metadata = 'undefined';BatchEncoding
参数
text(str,List[str],List[List[str]], 可选) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）的形式提供，则必须设置is_split_into_words=True（以消除与批次序列的歧义）。text_pair(str,List[str],List[List[str]], 可选) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）的形式提供，则必须设置is_split_into_words=True（以消除与批次序列的歧义）。text_target(str,List[str],List[List[str]], 可选) — 要编码为目标文本的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）的形式提供，则必须设置is_split_into_words=True（以消除与批次序列的歧义）。text_pair_target(str,List[str],List[List[str]], 可选) — 要编码为目标文本的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）的形式提供，则必须设置is_split_into_words=True（以消除与批次序列的歧义）。add_special_tokens(bool, 可选, 默认为True) — 在编码序列时是否添加特殊标记。这将使用底层的PretrainedTokenizerBase.build_inputs_with_special_tokens函数，该函数定义了自动添加到输入 id 的标记。如果要自动添加bos或eos标记，则这很有用。padding(bool,str或 PaddingStrategy, 可选, 默认为False) — 激活和控制填充。接受以下值：
True或'longest': 填充到批次中最长的序列（如果只提供单个序列，则不填充）。'max_length': 填充到指定的最大长度或模型的最大可接受输入长度（如果未提供该参数）。False或'do_not_pad'（默认）: 不填充（即，可以输出长度不同的序列批次）。
truncation(bool,str或 TruncationStrategy, 可选, 默认为False) — 激活和控制截断。接受以下值：
True或'longest_first': 截断到指定的最大长度或模型的最大可接受输入长度（如果未提供该参数）。这将逐标记截断，如果提供了一对序列（或一批对序列），则从该对中最长的序列中删除一个标记。'only_first': 截断到指定的最大长度或模型的最大可接受输入长度（如果未提供该参数）。如果提供了一对序列（或一批对序列），则仅截断第一个序列。'only_second': 截断到指定的最大长度，由参数max_length指定，或者截断到模型的最大可接受输入长度（如果未提供该参数）。如果提供了一对输入 ID 序列（或一批对），并且truncation_strategy = longest_first或True，则会引发错误，而不是返回溢出标记。False或'do_not_truncate'（默认）：不截断（即，可以输出长度大于模型最大可接受输入大小的批次）。
max_length(int, optional) — 控制截断/填充参数之一使用的最大长度。
如果未设置或设置为None，则将使用预定义的模型最大长度（如果截断/填充参数需要最大长度）。如果模型没有特定的最大输入长度（如 XLNet），则将禁用截断/填充到最大长度。stride(int, optional, defaults to 0) — 如果设置为一个数字，并且与max_length一起使用，当return_overflowing_tokens=True时返回的溢出标记将包含截断序列末尾的一些标记，以提供截断和溢出序列之间的一些重叠。该参数的值定义了重叠标记的数量。is_split_into_words(bool, optional, 默认为False) — 输入是否已经预分词（例如，已经分成单词）。如果设置为True，分词器会假定输入已经分成单词（例如，通过在空格上分割），然后对其进行分词。这对于 NER 或标记分类很有用。pad_to_multiple_of(int, optional) — 如果设置，将填充序列到提供的值的倍数。需要激活padding。这对于启用 NVIDIA 硬件上的 Tensor Cores 特别有用，计算能力>= 7.5（Volta）。return_tensors(str或 TensorType, optional) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
'tf': 返回 TensorFlowtf.constant对象。'pt': 返回 PyTorchtorch.Tensor对象。'np': 返回 Numpynp.ndarray对象。
return_token_type_ids(bool, optional) — 是否返回标记类型 ID。如果保持默认设置，将根据特定分词器的默认值返回标记类型 ID，由return_outputs属性定义。
什么是标记类型 ID？return_attention_mask(bool, *optional) — 是否返回注意力掩码。如果保持默认设置，将根据特定分词器的默认值返回注意力掩码，由return_outputs` 属性定义。
什么是注意力掩码？return_overflowing_tokens(bool, optional, 默认为False) — 是否返回溢出标记序列。如果提供了一对输入 ID 序列（或一批对），并且truncation_strategy = longest_first或True，则会引发错误，而不是返回溢出标记。return_special_tokens_mask(bool, optional, 默认为False) — 是否返回特殊标记掩码信息。return_offsets_mapping(bool, optional, 默认为False) — 是否返回每个标记的(char_start, char_end)。
仅适用于继承自 PreTrainedTokenizerFast 的快速分词器，如果使用 Python 的分词器，此方法将引发NotImplementedError。return_length(bool, optional, 默认为False) — 是否返回编码输入的长度。verbose(bool, optional, 默认为True) — 是否打印更多信息和警告。**kwargs — 传递给self.tokenize()方法
返回
BatchEncoding
一个具有以下字段的 BatchEncoding：
input_ids— 要提供给模型的标记 id 列表。
什么是输入 ID？token_type_ids— 要提供给模型的标记类型 id 列表（当return_token_type_ids=True或*token_type_ids*在self.model_input_names中时）。
什么是标记类型 ID？attention_mask— 指定哪些标记应由模型关注的索引列表（当return_attention_mask=True或*attention_mask*在self.model_input_names中时）。
什么是注意力掩码？overflowing_tokens— 溢出的标记序列列表（当指定max_length并且return_overflowing_tokens=True时）。num_truncated_tokens— 截断的标记数（当指定max_length并且return_overflowing_tokens=True时）。special_tokens_mask— 由 0 和 1 组成的列表，其中 1 指定添加的特殊标记，0 指定常规序列标记（当add_special_tokens=True和return_special_tokens_mask=True时）。length— 输入的长度（当return_length=True时）
将一个或多个序列或一个或多个序列对进行标记化和准备模型的主要方法。
batch_decode
( sequences: Union skip_special_tokens: bool = False clean_up_tokenization_spaces: bool = None output_char_offsets: bool = False **kwargs ) → export const metadata = 'undefined';List[str] or ~models.wav2vec2.tokenization_wav2vec2_phoneme.Wav2Vec2PhonemeCTCTokenizerOutput
参数
sequences（Union[List[int], List[List[int]], np.ndarray, torch.Tensor, tf.Tensor]） — 标记化输入 id 的列表。可以使用__call__方法获得。skip_special_tokens（bool，可选，默认为False） — 是否在解码中删除特殊标记。clean_up_tokenization_spaces（bool，可选） — 是否清除标记化空格。output_char_offsets（bool，可选，默认为False） — 是否输出字符偏移。字符偏移可以与采样率和模型下采样率结合使用，计算转录字符的时间戳。
请查看~models.wav2vec2.tokenization_wav2vec2.decode的示例，以更好地理解如何使用output_word_offsets。~model.wav2vec2_phoneme.tokenization_wav2vec2_phoneme.batch_decode与音素和批处理输出的处理方式类似。kwargs（其他关键字参数，可选） — 将传递给底层模型特定的解码方法。
返回
List[str]或~models.wav2vec2.tokenization_wav2vec2_phoneme.Wav2Vec2PhonemeCTCTokenizerOutput
解码后的句子。当output_char_offsets == True时，将是~models.wav2vec2.tokenization_wav2vec2_phoneme.Wav2Vec2PhonemeCTCTokenizerOutput。
通过调用解码将标记 id 的列表列表转换为字符串列表。
decode
( token_ids: Union skip_special_tokens: bool = False clean_up_tokenization_spaces: bool = None output_char_offsets: bool = False **kwargs ) → export const metadata = 'undefined';str or ~models.wav2vec2.tokenization_wav2vec2_phoneme.Wav2Vec2PhonemeCTCTokenizerOutput
参数
token_ids（Union[int, List[int], np.ndarray, torch.Tensor, tf.Tensor]） — 标记化输入 id 的列表。可以使用__call__方法获得。skip_special_tokens（bool，可选，默认为False） — 是否在解码中删除特殊标记。clean_up_tokenization_spaces（bool，可选） — 是否清除标记化空格。output_char_offsets（bool，可选，默认为False） — 是否输出字符偏移。字符偏移可以与采样率和模型下采样率结合使用，计算转录字符的时间戳。
请查看~models.wav2vec2.tokenization_wav2vec2.decode的示例，以更好地理解如何使用output_word_offsets。~model.wav2vec2_phoneme.tokenization_wav2vec2_phoneme.batch_decode与音素的处理方式相同。kwargs（额外的关键字参数，可选）- 将传递给底层模型特定的解码方法。
返回
str 或 ~models.wav2vec2.tokenization_wav2vec2_phoneme.Wav2Vec2PhonemeCTCTokenizerOutput
解码后的句子。当 output_char_offsets == True 时，将是一个 ~models.wav2vec2.tokenization_wav2vec2_phoneme.Wav2Vec2PhonemeCTCTokenizerOutput。
将一系列 id 转换为字符串，使用分词器和词汇表，可以选择删除特殊标记并清理分词空格。
类似于执行 self.convert_tokens_to_string(self.convert_ids_to_tokens(token_ids))。
phonemize
( text: str phonemizer_lang: Optional = None )
WavLM
原文：
huggingface.co/docs/transformers/v4.37.2/en/model_doc/wavlm
概述
WavLM 模型是由 Sanyuan Chen、Chengyi Wang、Zhengyang Chen、Yu Wu、Shujie Liu、Zhuo Chen、Jinyu Li、Naoyuki Kanda、Takuya Yoshioka、Xiong Xiao、Jian Wu、Long Zhou、Shuo Ren、Yanmin Qian、Yao Qian、Jian Wu、Michael Zeng、Furu Wei 在《WavLM: 大规模自监督预训练用于全栈语音处理》中提出的。
该论文的摘要如下：
自监督学习（SSL）在语音识别中取得了巨大成功，但对其他语音处理任务的探索有限。由于语音信号包含说话人身份、语用学、口语内容等多方面信息，为所有语音任务学习通用表示是具有挑战性的。在本文中，我们提出了一个新的预训练模型 WavLM，用于解决全栈下游语音任务。WavLM 基于 HuBERT 框架构建，重点放在口语内容建模和说话人身份保留上。我们首先为 Transformer 结构配备了门控相对位置偏差，以提高其在识别任务上的能力。为了更好地区分说话人，我们提出了一种话语混合训练策略，其中额外的重叠话语是无监督创建的，并在模型训练过程中加以整合。最后，我们将训练数据集从 60k 小时扩大到 94k 小时。WavLM Large 在 SUPERB 基准测试中取得了最先进的性能，并为各种语音处理任务在其代表性基准测试中带来了显著改进。
相关检查点可以在huggingface.co/models?other=wavlm下找到。
该模型由patrickvonplaten贡献。作者的代码可以在这里找到。
使用提示
- WavLM 是一个接受与语音信号的原始波形对应的浮点数组的语音模型。请使用 Wav2Vec2Processor 进行特征提取。
- WavLM 模型可以使用连接主义时间分类（CTC）进行微调，因此模型输出必须使用 Wav2Vec2CTCTokenizer 进行解码。
- WavLM 在说话人验证、说话人识别和说话人分割任务中表现特别好。
资源
- 音频分类任务指南
- 自动语音识别任务指南
WavLMConfig
class transformers.WavLMConfig
( vocab_size = 32 hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout = 0.1 activation_dropout = 0.1 attention_dropout = 0.1 feat_proj_dropout = 0.0 final_dropout = 0.1 layerdrop = 0.1 initializer_range = 0.02 layer_norm_eps = 1e-05 feat_extract_norm = 'group' feat_extract_activation = 'gelu' conv_dim = (512, 512, 512, 512, 512, 512, 512) conv_stride = (5, 2, 2, 2, 2, 2, 2) conv_kernel = (10, 3, 3, 3, 3, 2, 2) conv_bias = False num_conv_pos_embeddings = 128 num_conv_pos_embedding_groups = 16 num_buckets = 320 max_bucket_distance = 800 do_stable_layer_norm = False apply_spec_augment = True mask_time_prob = 0.05 mask_time_length = 10 mask_time_min_masks = 2 mask_feature_prob = 0.0 mask_feature_length = 10 num_codevectors_per_group = 320 num_codevector_groups = 2 contrastive_logits_temperature = 0.1 num_negatives = 100 codevector_dim = 256 proj_codevector_dim = 256 diversity_loss_weight = 0.1 ctc_loss_reduction = 'mean' ctc_zero_infinity = False use_weighted_layer_sum = False classifier_proj_size = 256 tdnn_dim = (512, 512, 512, 512, 1500) tdnn_kernel = (5, 3, 3, 1, 1) tdnn_dilation = (1, 2, 3, 1, 1) xvector_output_dim = 512 num_ctc_classes = 80 pad_token_id = 0 bos_token_id = 1 eos_token_id = 2 add_adapter = False adapter_kernel_size = 3 adapter_stride = 2 num_adapter_layers = 3 output_hidden_size = None **kwargs )
参数
vocab_size（int，可选，默认为 32）— WavLM 模型的词汇大小。定义了在调用 WavLMModel 时可以表示的不同令牌数量。模型的词汇大小。定义了可以由传递给 WavLMModel 的inputs_ids表示的不同令牌。hidden_size（int，可选，默认为 768）— 编码器层和池化层的维度。num_hidden_layers（int，可选，默认为 12）— Transformer 编码器中的隐藏层数。num_attention_heads（int，可选，默认为 12）— Transformer 编码器中每个注意力层的注意力头数。intermediate_size（int，可选，默认为 3072）— Transformer 编码器中“中间”（即前馈）层的维度。hidden_act(strorfunction, optional, defaults to"gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu","relu","selu"和"gelu_new"。hidden_dropout(float, optional, defaults to 0.1) — 嵌入层、编码器和池化器中所有全连接层的丢弃概率。activation_dropout(float, optional, defaults to 0.1) — 全连接层内部激活的丢弃比例。attention_dropout(float, optional, defaults to 0.1) — 注意力概率的丢弃比例。final_dropout(float, optional, defaults to 0.1) — WavLMForCTC 最终投影层的丢弃概率。layerdrop(float, optional, defaults to 0.1) — LayerDrop 概率。详情请参考 LayerDrop paper)。initializer_range(float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。layer_norm_eps(float, optional, defaults to 1e-12) — 层规范化层使用的 epsilon 值。feat_extract_norm(str, optional, defaults to"group") — 用于特征编码器中的 1D 卷积层的规范化方式。可以选择"group"表示仅对第一个 1D 卷积层进行分组规范化，或者选择"layer"表示对所有 1D 卷积层进行层规范化。feat_proj_dropout(float, optional, defaults to 0.0) — 特征编码器输出的丢弃概率。feat_extract_activation(str,optional, defaults to“gelu”) -- 特征提取器中 1D 卷积层的非线性激活函数（函数或字符串）。如果是字符串，支持“gelu”,“relu”,“selu”和“gelu_new”`。conv_dim(Tuple[int]orList[int], optional, defaults to(512, 512, 512, 512, 512, 512, 512)) — 定义特征编码器中每个 1D 卷积层的输入和输出通道数的整数元组。conv_dim 的长度定义了 1D 卷积层的数量。conv_stride(Tuple[int]orList[int], optional, defaults to(5, 2, 2, 2, 2, 2, 2)) — 定义特征编码器中每个 1D 卷积层的步幅的整数元组。conv_stride 的长度定义了卷积层的数量，并且必须与 conv_dim 的长度匹配。conv_kernel(Tuple[int]orList[int], optional, defaults to(10, 3, 3, 3, 3, 3, 3)) — 定义特征编码器中每个 1D 卷积层的内核大小的整数元组。conv_kernel 的长度定义了卷积层的数量，并且必须与 conv_dim 的长度匹配。conv_bias(bool, optional, defaults toFalse) — 1D 卷积层是否带有偏置。num_conv_pos_embeddings(int, optional, defaults to 128) — 卷积位置嵌入的数量。定义了 1D 卷积位置嵌入层的内核大小。num_conv_pos_embedding_groups(int, optional, defaults to 16) — 1D 卷积位置嵌入层的组数。do_stable_layer_norm(bool, optional, defaults toFalse) — 是否应用 Transformer 编码器的 stable 层规范化架构。do_stable_layer_norm is True表示在注意力层之前应用层规范化，而do_stable_layer_norm is False表示在注意力层之后应用层规范化。apply_spec_augment(bool, optional, defaults toTrue) — 是否对特征编码器的输出应用 SpecAugment 数据增强。详情请参考 SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition。mask_time_prob(float, optional, defaults to 0.05) — 沿时间轴的每个特征向量被选择为要屏蔽的向量跨度的起始的概率。大约会有mask_time_prob * sequence_length // mask_time_length个特征向量沿时间轴被屏蔽。仅在apply_spec_augment为真时相关。mask_time_length(int, optional, defaults to 10) — 沿时间轴的向量跨度长度。mask_time_min_masks(int, optional, defaults to 2), — 沿时间轴生成的长度为mask_feature_length的最小掩码数量，每个时间步，与mask_feature_prob无关。仅在 ”mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks” 时相关。mask_feature_prob(float, optional, defaults to 0.0) — 沿特征轴的每个特征向量被选择为要屏蔽的向量跨度的起始的概率。大约会有mask_time_prob * hidden_size // mask_time_length个特征向量沿时间轴被屏蔽。仅在apply_spec_augment为真时相关。mask_feature_length(int, optional, defaults to 10) — 沿特征轴的向量跨度长度。num_codevectors_per_group(int, optional, defaults to 320) — 每个量化码书（组）中的条目数。num_codevector_groups(int, optional, defaults to 2) — 产品码矢量量化的码矢量组数。contrastive_logits_temperature(float, optional, defaults to 0.1) — 对比损失中的温度 kappa。num_negatives(int, optional, defaults to 100) — 对比损失的负样本数量。codevector_dim(int, optional, defaults to 256) — 量化特征向量的维度。proj_codevector_dim(int, optional, defaults to 256) — 量化和变换特征的最终投影的维度。diversity_loss_weight(int, optional, defaults to 0.1) — 码书多样性损失组件的权重。ctc_loss_reduction(str, optional, defaults to"mean") — 指定应用于torch.nn.CTCLoss输出的减少方式。仅在训练 WavLMForCTC 实例时相关。ctc_zero_infinity(bool, optional, defaults toFalse) — 是否将torch.nn.CTCLoss的无限损失和相关梯度置零。当输入太短无法与目标对齐时主要会出现无限损失。仅在训练 WavLMForCTC 实例时相关。use_weighted_layer_sum(bool, optional, defaults toFalse) — 是否使用具有学习权重的层输出的加权平均。仅在使用 WavLMForSequenceClassification 实例时相关。classifier_proj_size(int, optional, defaults to 256) — 分类前的投影维度，用于标记均值池化。tdnn_dim(Tuple[int]orList[int], optional, defaults to(512, 512, 512, 512, 1500)) — XVector 模型中 TDNN 模块中每个一维卷积层的输出通道数的整数元组。tdnn_dim 的长度定义了 TDNN 层的数量。tdnn_kernel(Tuple[int]orList[int], optional, defaults to(5, 3, 3, 1, 1)) — XVector 模型中 TDNN 模块中每个一维卷积层的内核大小的整数元组。tdnn_kernel 的长度必须与 tdnn_dim 的长度相匹配。tdnn_dilation(Tuple[int]orList[int], optional, defaults to(1, 2, 3, 1, 1)) — XVector 模型中 TDNN 模块中每个一维卷积层的膨胀因子的整数元组。tdnn_dilation 的长度必须与 tdnn_dim 的长度相匹配。xvector_output_dim（int，可选，默认为 512）— XVector嵌入向量的维度。add_adapter（bool，可选，默认为False）— 是否应在 Wav2Vec2 编码器顶部堆叠卷积网络。对于 Warm-starting Wav2Vec2 用于 SpeechEncoderDecoder 模型非常有用。adapter_kernel_size（int，可选，默认为 3）— 适配器网络中卷积层的核大小。仅在add_adapter为 True 时相关。adapter_stride（int，可选，默认为 2）— 适配器网络中卷积层的步幅。仅在add_adapter为 True 时相关。num_adapter_layers（int，可选，默认为 3）— 适配器网络中应使用的卷积层的数量。仅在add_adapter为 True 时相关。output_hidden_size（int，可选）— 编码器输出层的维度。如果未定义，则默认为hidden-size。仅在add_adapter为 True 时相关。
这是用于存储 WavLMModel 配置的配置类。根据指定的参数实例化一个 WavLM 模型，定义模型架构。使用默认值实例化配置将产生类似于 WavLM microsoft/wavlm-base架构的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。
示例：
示例：
>>> from transformers import WavLMConfig, WavLMModel >>> # Initializing a WavLM facebook/wavlm-base-960h style configuration >>> configuration = WavLMConfig() >>> # Initializing a model (with random weights) from the facebook/wavlm-base-960h style configuration >>> model = WavLMModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config
WavLMModel
class transformers.WavLMModel
( config: WavLMConfig )
参数
config（WavLMConfig）— 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。
WavLM 模型转换器裸输出原始隐藏状态，没有任何特定的头部。WavLM 是由 Sanyuan Chen、Chengyi Wang、Zhengyang Chen、Yu Wu、Shujie Liu、Zhuo Chen、Jinyu Li、Naoyuki Kanda、Takuya Yoshioka、Xiong Xiao、Jian Wu、Long Zhou、Shuo Ren、Yanmin Qian、Yao Qian、Jian Wu、Michael Zeng、Xiangzhan Yu、Furu Wei 在《WavLM: 使用标记和未标记数据进行统一语音表示学习》中提出的。
此模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（如下载或保存等）。
此模型是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取与一般用法和行为相关的所有事项。
forward
( input_values: Optional attention_mask: Optional = None mask_time_indices: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.Wav2Vec2BaseModelOutput or tuple(torch.FloatTensor)
参数
input_values(torch.FloatTensor，形状为(batch_size, sequence_length)) — 输入原始语音波形的浮点值。值可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得，例如通过 soundfile 库（pip install soundfile）。要准备好数组为input_values，应使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。有关详细信息，请参阅 Wav2Vec2Processor.call()。attention_mask(torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 用于避免在填充标记索引上执行卷积和注意力的蒙版。蒙版值选择在[0, 1]中：
- 对于未被蒙版的标记，为 1，
- 对于被蒙版的标记，为 0。
- 注意力蒙版是什么？
只有当相应的处理器具有config.return_attention_mask == True时才应传递attention_mask。对于所有处理器具有config.return_attention_mask == False的模型，当进行批量推断时，应避免传递attention_mask以避免性能下降。对于这样的模型，input_values应简单地填充为 0 并在不传递attention_mask的情况下传递。请注意，这些模型根据input_values是否填充会产生略有不同的结果。 output_attentions(bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的attentions。output_hidden_states(bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的hidden_states。return_dict(bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
返回
transformers.modeling_outputs.Wav2Vec2BaseModelOutput 或tuple(torch.FloatTensor)
transformers.modeling_outputs.Wav2Vec2BaseModelOutput 或一个torch.FloatTensor元组（如果传递了return_dict=False或config.return_dict=False时）包含各种元素，这取决于配置（WavLMConfig）和输入。
last_hidden_state(torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。extract_features(torch.FloatTensor，形状为(batch_size, sequence_length, conv_dim[-1])) — 模型最后一个卷积层提取的特征向量序列。hidden_states(tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回） — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个层的输出）。
模型在每一层输出的隐藏状态加上初始嵌入输出。attentions(tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回） — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
注意力权重在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
WavLMModel 的前向方法，覆盖了__call__特殊方法。
尽管前向传递的步骤需要在此函数内定义，但应该在此之后调用 Module 实例，而不是在此处调用，因为前者会负责运行预处理和后处理步骤，而后者会默默地忽略它们。
示例：
>>> from transformers import AutoProcessor, WavLMModel >>> import torch >>> from datasets import load_dataset >>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation") >>> dataset = dataset.sort("id") >>> sampling_rate = dataset.features["audio"].sampling_rate >>> processor = AutoProcessor.from_pretrained("patrickvonplaten/wavlm-libri-clean-100h-base-plus") >>> model = WavLMModel.from_pretrained("patrickvonplaten/wavlm-libri-clean-100h-base-plus") >>> # audio file is decoded on the fly >>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt") >>> with torch.no_grad(): ... outputs = model(**inputs) >>> last_hidden_states = outputs.last_hidden_state >>> list(last_hidden_states.shape) [1, 292, 768]
Transformers 4.37 中文文档（八十）（5）https://developer.aliyun.com/article/1563217
