UniSpeech-SAT
查看原文：
huggingface.co/docs/transformers/v4.37.2/en/model_doc/unispeech-sat
概述
UniSpeech-SAT 模型是由 Sanyuan Chen、Yu Wu、Chengyi Wang、Zhengyang Chen、Zhuo Chen、Shujie Liu、Jian Wu、Yao Qian、Furu Wei、Jinyu Li、Xiangzhan Yu 在UniSpeech-SAT: Universal Speech Representation Learning with Speaker Aware Pre-Training中提出的。
论文摘要如下：
自监督学习（SSL）是语音处理的一个长期目标，因为它利用大规模未标记数据，避免了大量的人工标注。近年来，在语音识别中应用自监督学习取得了巨大成功，但在建模说话者特征方面的尝试有限。在本文中，我们旨在改进现有的 SSL 框架，用于说话者表示学习。我们介绍了两种方法来增强无监督说话者信息提取。首先，我们将多任务学习应用于当前的 SSL 框架，将话语级对比损失与 SSL 目标函数整合在一起。其次，为了更好地区分说话者，我们提出了一种话语混合策略用于数据增强，其中额外的重叠话语是无监督创建的，并在训练过程中整合。我们将这些方法整合到 HuBERT 框架中。在 SUPERB 基准上的实验结果表明，所提出的系统在通用表示学习方面取得了最先进的性能，特别是针对说话者识别导向的任务。进行了消融研究，验证了每种提出方法的有效性。最后，我们将训练数据集扩大到 94,000 小时的公共音频数据，并在所有 SUPERB 任务中实现了进一步的性能提升。
这个模型是由patrickvonplaten贡献的。作者的代码可以在这里找到。
使用提示
- UniSpeechSat 是一个语音模型，接受与语音信号的原始波形对应的浮点数组。请使用 Wav2Vec2Processor 进行特征提取。
- UniSpeechSat 模型可以使用连接主义时间分类（CTC）进行微调，因此模型输出必须使用 Wav2Vec2CTCTokenizer 进行解码。
- UniSpeechSat 在说话者验证、说话者识别和说话者日程任务中表现特别好。
资源
- 音频分类任务指南
- 自动语音识别任务指南
UniSpeechSatConfig
class transformers.UniSpeechSatConfig
( vocab_size = 32 hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout = 0.1 activation_dropout = 0.1 attention_dropout = 0.1 feat_proj_dropout = 0.0 feat_quantizer_dropout = 0.0 final_dropout = 0.1 layerdrop = 0.1 initializer_range = 0.02 layer_norm_eps = 1e-05 feat_extract_norm = 'group' feat_extract_activation = 'gelu' conv_dim = (512, 512, 512, 512, 512, 512, 512) conv_stride = (5, 2, 2, 2, 2, 2, 2) conv_kernel = (10, 3, 3, 3, 3, 2, 2) conv_bias = False num_conv_pos_embeddings = 128 num_conv_pos_embedding_groups = 16 do_stable_layer_norm = False apply_spec_augment = True mask_time_prob = 0.05 mask_time_length = 10 mask_time_min_masks = 2 mask_feature_prob = 0.0 mask_feature_length = 10 mask_feature_min_masks = 0 num_codevectors_per_group = 320 num_codevector_groups = 2 contrastive_logits_temperature = 0.1 num_negatives = 100 codevector_dim = 256 proj_codevector_dim = 256 diversity_loss_weight = 0.1 ctc_loss_reduction = 'mean' ctc_zero_infinity = False use_weighted_layer_sum = False classifier_proj_size = 256 tdnn_dim = (512, 512, 512, 512, 1500) tdnn_kernel = (5, 3, 3, 1, 1) tdnn_dilation = (1, 2, 3, 1, 1) xvector_output_dim = 512 pad_token_id = 0 bos_token_id = 1 eos_token_id = 2 num_clusters = 504 **kwargs )
参数
vocab_size（int，可选，默认为 32）— UniSpeechSat 模型的词汇大小。定义了在调用 UniSpeechSatModel 时可以表示的不同令牌的数量。模型的词汇大小。定义了可以由传递给 UniSpeechSatModel 的inputs_ids表示的不同令牌。hidden_size（int，可选，默认为 768）— 编码器层和池化层的维度。num_hidden_layers（int，可选，默认为 12）— Transformer 编码器中的隐藏层数。num_attention_heads（int，可选，默认为 12）— Transformer 编码器中每个注意力层的注意力头数。intermediate_size(int, optional, defaults to 3072) — Transformer 编码器中“中间”（即前馈）层的维度。hidden_act(strorfunction, optional, defaults to"gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"selu"和"gelu_new"。hidden_dropout(float, optional, defaults to 0.1) — 嵌入、编码器和池化器中所有完全连接层的 dropout 概率。activation_dropout(float, optional, defaults to 0.1) — 完全连接层内激活的 dropout 比率。attention_dropout(float, optional, defaults to 0.1) — 注意力概率的 dropout 比率。feat_proj_dropout(float, optional, defaults to 0.0) — 特征编码器输出的 dropout 概率。feat_quantizer_dropout(float, optional, defaults to 0.0) — 用于量化器使用的特征编码器输出的 dropout 概率。final_dropout(float, optional, defaults to 0.1) — UniSpeechSatForCTC 的最终投影层的 dropout 概率。layerdrop(float, optional, defaults to 0.1) — LayerDrop 概率。更多详情请参阅 LayerDrop 论文)。initializer_range(float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。layer_norm_eps(float, optional, defaults to 1e-05) — 层归一化层使用的 epsilon。feat_extract_norm(str, optional, defaults to"group") — 应用于特征编码器中的 1D 卷积层的规范化方式。可以选择"group"表示仅对第一个 1D 卷积层进行组归一化，或者选择"layer"表示对所有 1D 卷积层进行层归一化。feat_extract_activation(str, *optional*, defaults to“gelu”) -- 特征提取器中 1D 卷积层的非线性激活函数（函数或字符串）。如果是字符串，支持“gelu”、“relu”、“selu”和“gelu_new”`。conv_dim(Tuple[int]orList[int], optional, defaults to(512, 512, 512, 512, 512, 512, 512)) — 定义特征编码器中每个 1D 卷积层的输入和输出通道数的整数元组。conv_dim的长度定义了 1D 卷积层的数量。conv_stride(Tuple[int]orList[int], optional, defaults to(5, 2, 2, 2, 2, 2, 2)) — 定义特征编码器中每个 1D 卷积层的步幅的整数元组。conv_stride的长度定义了卷积层的数量，并且必须与conv_dim的长度匹配。conv_kernel(Tuple[int]orList[int], optional, defaults to(10, 3, 3, 3, 3, 2, 2)) — 定义特征编码器中每个 1D 卷积层的卷积核大小的整数元组。conv_kernel的长度定义了卷积层的数量，并且必须与conv_dim的长度匹配。conv_bias(bool, optional, defaults toFalse) — 1D 卷积层是否带有偏置。num_conv_pos_embeddings(int, optional, defaults to 128) — 卷积位置嵌入的数量。定义了 1D 卷积位置嵌入层的卷积核大小。num_conv_pos_embedding_groups(int, optional, defaults to 16) — 1D 卷积位置嵌入层的组数。do_stable_layer_norm(bool, optional, defaults toFalse) — 是否应用 Transformer 编码器的稳定层归一化架构。do_stable_layer_norm is True表示在注意力层之前应用层归一化，而do_stable_layer_norm is False表示在注意力层之后应用层归一化。apply_spec_augment(bool, optional, 默认为True) — 是否对特征编码器的输出应用SpecAugment数据增强。有关详细信息，请参阅SpecAugment：用于自动语音识别的简单数据增强方法。mask_time_prob(float, optional, 默认为 0.05) — 沿时间轴遮蔽的所有特征向量的百分比（介于 0 和 1 之间）。遮蔽过程在该轴上生成“mask_time_prob*len(time_axis)/mask_time_length”个独立的遮罩。如果从每个特征向量被选择为要遮蔽的向量跨度的起点的概率推理，mask_time_prob应为prob_vector_start*mask_time_length。请注意，重叠可能会降低实际遮蔽向量的百分比。仅在apply_spec_augment为 True 时相关。mask_time_length(int, optional, 默认为 10) — 沿时间轴的向量跨度长度。mask_time_min_masks(int, optional, 默认为 2) — 沿时间轴生成的长度为mask_feature_length的最小遮罩数量，每个时间步，与mask_feature_prob无关。仅在“mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks”时相关。mask_feature_prob(float, optional, 默认为 0.0) — 沿特征轴遮蔽的所有特征向量的百分比（介于 0 和 1 之间）。遮蔽过程在该轴上生成“mask_feature_prob*len(feature_axis)/mask_time_length”个独立的遮罩。如果从每个特征向量被选择为要遮蔽的向量跨度的起点的概率推理，mask_feature_prob应为prob_vector_start*mask_feature_length。请注意，重叠可能会降低实际遮蔽向量的百分比。仅在apply_spec_augment为 True 时相关。mask_feature_length(int, optional, 默认为 10) — 沿特征轴的向量跨度长度。mask_feature_min_masks(int, optional, 默认为 0) — 沿特征轴生成的长度为mask_feature_length的最小遮罩数量，每个时间步，与mask_feature_prob无关。仅在“mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks”时相关。num_codevectors_per_group(int, optional, 默认为 320) — 每个量化码书（组）中的条目数。num_codevector_groups(int, optional, 默认为 2) — 产品码矢量量化的码矢量组数。contrastive_logits_temperature(float, optional, 默认为 0.1) — 对比损失中的温度kappa。num_negatives(int, optional, 默认为 100) — 对比损失的负样本数量。codevector_dim(int, optional, 默认为 256) — 量化特征向量的维度。proj_codevector_dim(int, optional, 默认为 256) — 量化和变换特征的最终投影的维度。diversity_loss_weight(int, optional, 默认为 0.1) — 码书多样性损失组件的权重。ctc_loss_reduction(str, optional, 默认为"mean") — 指定应用于torch.nn.CTCLoss输出的减少方式。仅在训练 UniSpeechSatForCTC 实例时相关。ctc_zero_infinity(bool, optional, 默认为False) — 是否将torch.nn.CTCLoss的无限损失和相关梯度置零。当输入太短无法与目标对齐时，主要会出现无限损失。仅在训练 UniSpeechSatForCTC 实例时相关。use_weighted_layer_sum(bool，可选，默认为False）— 是否使用带有学习权重的层输出的加权平均值。仅在使用 UniSpeechSatForSequenceClassification 的实例时相关。classifier_proj_size(int，可选，默认为 256）— 分类前的投影维度均值池化。tdnn_dim(Tuple[int]或List[int]，可选，默认为(512, 512, 512, 512, 1500)）— 一个整数元组，定义XVector模型的TDNN模块中每个 1D 卷积层的输出通道数。 tdnn_dim的长度定义了TDNN层的数量。tdnn_kernel(Tuple[int]或List[int]，可选，默认为(5, 3, 3, 1, 1)）— 一个整数元组，定义XVector模型的TDNN模块中每个 1D 卷积层的内核大小。 tdnn_kernel的长度必须与tdnn_dim的长度相匹配。tdnn_dilation(Tuple[int]或List[int]，可选，默认为(1, 2, 3, 1, 1)）— 一个整数元组，定义XVector模型的TDNN模块中每个 1D 卷积层的扩张因子。 tdnn_dilation的长度必须与tdnn_dim的长度相匹配。xvector_output_dim(int，可选，默认为 512）— XVector嵌入向量的维度。pad_token_id(int，可选，默认为 0）— 填充标记的 id。bos_token_id(int，可选，默认为 1）— “序列开始”标记的 id。eos_token_id(int，可选，默认为 2）— “序列结束”标记的 id。num_clusters(int，可选，默认为 504）— 弱标记的簇数。仅在使用 UniSpeechSatForPreTraining 的实例时相关。
这是用于存储 UniSpeechSatModel 配置的配置类。根据指定的参数实例化 UniSpeechSat 模型，定义模型架构。使用默认值实例化配置将产生类似于 UniSpeechSat microsoft/unispeech-sat-base-100h-libri-ft架构的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。
示例：
>>> from transformers import UniSpeechSatModel, UniSpeechSatConfig >>> # Initializing a UniSpeechSat microsoft/unispeech-sat-base-100h-libri-ft style configuration >>> configuration = UniSpeechSatConfig() >>> # Initializing a model from the microsoft/unispeech-sat-base-100h-libri-ft style configuration >>> model = UniSpeechSatModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config
UniSpeechSat 特定输出
class transformers.models.unispeech_sat.modeling_unispeech_sat.UniSpeechSatForPreTrainingOutput
( loss: Optional = None logits: FloatTensor = None projected_states: FloatTensor = None projected_quantized_states: FloatTensor = None codevector_perplexity: FloatTensor = None hidden_states: Optional = None attentions: Optional = None )
参数
loss（可选，当模型处于训练模式时返回，形状为(1,)的torch.FloatTensor）— 总损失，作为对比损失（L_m）和多样性损失（L_d）的和，如官方论文中所述。 （分类）损失。projected_states(torch.FloatTensor，形状为(batch_size, sequence_length, config.proj_codevector_dim)）— 模型的隐藏状态投影到config.proj_codevector_dim，可用于预测掩码的投影量化状态。projected_quantized_states(torch.FloatTensor，形状为(batch_size, sequence_length, config.proj_codevector_dim)）— 量化提取的特征向量投影到config.proj_codevector_dim，表示对比损失的正目标向量。hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）- 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每一层的输出）。
模型在每一层输出的隐藏状态以及初始嵌入输出。attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）- 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
UniSpeechSatForPreTrainingOutput的输出类型，具有潜在的隐藏状态和注意力。
UniSpeechSatModel
class transformers.UniSpeechSatModel
( config: UniSpeechSatConfig )
参数
config（UniSpeechSatConfig）- 模型的配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。
裸的 UniSpeechSat 模型变压器输出原始隐藏状态，没有特定的头部。UniSpeechSat 是由 Alexei Baevski、Henry Zhou、Abdelrahman Mohamed、Michael Auli 在《wav2vec 2.0:自监督学习语音表示的框架》中提出的。
此模型继承自 PreTrainedModel。查看超类文档以了解库为所有模型实现的通用方法（如下载或保存等）。
此模型是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以了解所有与一般用法和行为相关的事项。
forward
( input_values: Optional attention_mask: Optional = None mask_time_indices: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.Wav2Vec2BaseModelOutput or tuple(torch.FloatTensor)
参数
input_values（形状为(batch_size, sequence_length)的torch.FloatTensor）- 输入原始语音波形的浮点值。可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得值，例如通过 soundfile 库（pip install soundfile）。要准备好数组为input_values，应使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。有关详细信息，请参阅 Wav2Vec2Processor.call()。attention_mask（形状为(batch_size, sequence_length)的torch.LongTensor，可选）- 用于避免在填充标记索引上执行卷积和注意力的掩码。掩码值选在[0, 1]范围内：
- 对于未被
masked的标记为 1， - 对于被
masked的标记为 0。
- 什么是注意力掩码？
只有当相应的处理器具有config.return_attention_mask == True时才应传递attention_mask。对于所有处理器具有config.return_attention_mask == False的模型，例如microsoft/unispeech-sat-base-100h-libri-ft，在进行批量推断时应不传递attention_mask以避免性能下降。对于这些模型，input_values应该简单地用 0 填充并在不传递attention_mask的情况下传递。请注意，这些模型根据input_values是否填充会产生略有不同的结果。 output_attentions（bool，可选）— 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的attentions。output_hidden_states（bool，可选）— 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的hidden_states。return_dict（bool，可选）— 是否返回 ModelOutput 而不是普通元组。
返回值
transformers.modeling_outputs.Wav2Vec2BaseModelOutput 或tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.Wav2Vec2BaseModelOutput 或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False时）包含各种元素，这取决于配置（UniSpeechSatConfig）和输入。
last_hidden_state（形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor）— 模型最后一层输出的隐藏状态序列。extract_features（形状为(batch_size, sequence_length, conv_dim[-1])的torch.FloatTensor）— 模型最后一个卷积层提取的特征向量序列。hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）— 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每层的输出）。
模型在每一层输出的隐藏状态以及初始嵌入输出。attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）— 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
在注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
UniSpeechSatModel 的前向方法，覆盖了__call__特殊方法。
虽然前向传递的步骤需要在此函数内定义，但应该在此之后调用Module实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
示例：
>>> from transformers import AutoProcessor, UniSpeechSatModel >>> import torch >>> from datasets import load_dataset >>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation") >>> dataset = dataset.sort("id") >>> sampling_rate = dataset.features["audio"].sampling_rate >>> processor = AutoProcessor.from_pretrained("microsoft/unispeech-sat-base-100h-libri-ft") >>> model = UniSpeechSatModel.from_pretrained("microsoft/unispeech-sat-base-100h-libri-ft") >>> # audio file is decoded on the fly >>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt") >>> with torch.no_grad(): ... outputs = model(**inputs) >>> last_hidden_states = outputs.last_hidden_state >>> list(last_hidden_states.shape) [1, 292, 768]
UniSpeechSatForCTC
class transformers.UniSpeechSatForCTC
( config target_lang: Optional = None )
参数
config(UniSpeechSatConfig) — 具有模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型关联的权重，只会加载配置。 请查看 from_pretrained() 方法以加载模型权重。target_lang(str, optional) — 适配器权重的语言 id。 适配器权重存储在格式为 adapter..safetensors 或 adapter..bin 的文件中。 仅在使用带有适配器的 UniSpeechSatForCTC 实例时相关。 默认情况下使用 ‘eng’。
带有顶部 语言建模 的 UniSpeechSat 模型，用于 Connectionist Temporal Classification (CTC)。 UniSpeechSat 是由 Alexei Baevski、Henry Zhou、Abdelrahman Mohamed、Michael Auli 在 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations 中提出的。
此模型继承自 PreTrainedModel。 请查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存等）。
这个模型是 PyTorch torch.nn.Module 的子类。 将其用作常规的 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。
forward
( input_values: Optional attention_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None labels: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.CausalLMOutput or tuple(torch.FloatTensor)
参数
input_values(torch.FloatTensorof shape(batch_size, sequence_length)) — 输入原始语音波形的浮点值。 值可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得，例如通过 soundfile 库 (pip install soundfile)。 要将数组准备成input_values，应使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。 有关详细信息，请参阅 Wav2Vec2Processor.call()。attention_mask(torch.LongTensorof shape(batch_size, sequence_length), optional) — 用于避免在填充标记索引上执行卷积和注意力的掩码。 选择的掩码值在[0, 1]中：
- 1 代表
未被掩码的标记， - 0 代表
被掩码的标记。
- 什么是注意力掩码？
只有在相应的处理器具有config.return_attention_mask == True时才应传递attention_mask。 对于所有处理器具有config.return_attention_mask == False的模型，例如 microsoft/unispeech-sat-base-100h-libri-ft，在进行批量推断时应不传递attention_mask以避免性能下降。 对于这些模型，input_values应简单地填充为 0 并在不传递attention_mask的情况下传递。 请注意，这些模型的结果也会因input_values是否填充而略有不同。 output_attentions(bool, optional) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回张量下的attentions。output_hidden_states(bool, optional) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回张量下的hidden_states。return_dict(bool, optional) — 是否返回 ModelOutput 而不是普通元组。labels(torch.LongTensor，形状为(batch_size, target_length)，optional) — 用于连接主义时间分类的标签。注意target_length必须小于或等于输出 logits 的序列长度。索引在[-100, 0, ..., config.vocab_size - 1]中选择。所有设置为-100的标签都被忽略（掩码），损失仅计算在[0, ..., config.vocab_size - 1]中的标签。
返回
transformers.modeling_outputs.CausalLMOutput 或torch.FloatTensor元组
一个 transformers.modeling_outputs.CausalLMOutput 或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False）包含根据配置（UniSpeechSatConfig）和输入的不同元素。
loss(torch.FloatTensor，形状为(1,)，optional，当提供labels时返回) — 语言建模损失（用于下一个标记预测）。logits(torch.FloatTensor，形状为(batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前每个词汇标记的分数）。hidden_states(tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组。
模型在每一层输出的隐藏状态加上可选的初始嵌入输出。attentions(tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组。
注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
UniSpeechSatForCTC 的前向方法，覆盖了__call__特殊方法。
虽然前向传递的步骤需要在此函数内定义，但应该在此之后调用Module实例，而不是在此处调用，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。
示例：
>>> from transformers import AutoProcessor, UniSpeechSatForCTC >>> from datasets import load_dataset >>> import torch >>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation") >>> dataset = dataset.sort("id") >>> sampling_rate = dataset.features["audio"].sampling_rate >>> processor = AutoProcessor.from_pretrained("microsoft/unispeech-sat-base-100h-libri-ft") >>> model = UniSpeechSatForCTC.from_pretrained("microsoft/unispeech-sat-base-100h-libri-ft") >>> # audio file is decoded on the fly >>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt") >>> with torch.no_grad(): ... logits = model(**inputs).logits >>> predicted_ids = torch.argmax(logits, dim=-1) >>> # transcribe speech >>> transcription = processor.batch_decode(predicted_ids) >>> transcription[0] 'MISTER QUILDER IS THE APOSTLE OF THE MIDDLE CLASSES AND WE ARE GLAD TO WELCOME HIS GOSPEL' >>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids >>> # compute loss >>> loss = model(**inputs).loss >>> round(loss.item(), 2) 39.88
UniSpeechSatForSequenceClassification
class transformers.UniSpeechSatForSequenceClassification
( config )
参数
config（UniSpeechSatConfig） — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。查看 from_pretrained()方法以加载模型权重。
UniSpeechSat 模型在顶部具有一个序列分类头（在池化输出上的线性层），用于类似 SUPERB 关键词检测的任务。
UniSpeechSat 是由 Alexei Baevski、Henry Zhou、Abdelrahman Mohamed、Michael Auli 在《wav2vec 2.0:自监督学习语音表示的框架》中提出的。
此模型继承自 PreTrainedModel。查看超类文档以了解库为所有模型实现的通用方法（如下载或保存等）。
这个模型是 PyTorch torch.nn.Module 的子类。将其用作常规的 PyTorch 模块，并参考 PyTorch 文档以获取与一般用法和行为相关的所有内容。
forward
( input_values: Optional attention_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None labels: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.SequenceClassifierOutput or tuple(torch.FloatTensor)
参数
input_values(torch.FloatTensor，形状为(batch_size, sequence_length)) — 输入原始语音波形的浮点值。可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得值，例如通过 soundfile 库(pip install soundfile)。要准备好数组以获得input_values，应使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。有关详细信息，请参见 Wav2Vec2Processor.call()。attention_mask(torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 用于避免在填充令牌索引上执行卷积和注意力的掩码。掩码值选在[0, 1]之间：
- 1 表示未被掩盖的令牌，
- 0 表示被掩盖的令牌。
- 什么是注意力掩码？
只有当相应的处理器具有config.return_attention_mask == True时，才应传递attention_mask。对于所有处理器具有config.return_attention_mask == False的模型，例如microsoft/unispeech-sat-base-100h-libri-ft，在进行批量推断时，应不传递attention_mask以避免性能下降。对于这样的模型，input_values应该简单地用 0 填充并在不传递attention_mask的情况下传递。请注意，这些模型根据input_values是否填充会产生略有不同的结果。 output_attentions(bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的attentions。output_hidden_states(bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的hidden_states。return_dict(bool，可选) — 是否返回 ModelOutput 而不是普通元组。labels(torch.LongTensor，形状为(batch_size,)，可选) — 用于计算序列分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]范围内。如果config.num_labels == 1，则计算回归损失（均方损失），如果config.num_labels > 1，则计算分类损失（交叉熵）。
返回值
transformers.modeling_outputs.SequenceClassifierOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.SequenceClassifierOutput 或一个torch.FloatTensor元组（如果传递了return_dict=False或当config.return_dict=False时），包含根据配置(UniSpeechSatConfig)和输入而异的各种元素。
loss(torch.FloatTensor，形状为(1,)，可选，当提供labels时返回) — 分类（如果 config.num_labels==1 则为回归）损失。logits(torch.FloatTensor，形状为(batch_size, config.num_labels)) — 分类（如果 config.num_labels==1 则为回归）得分（SoftMax 之前）。hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回） - 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（如果模型有嵌入层的输出一个，+ 每个层的输出一个）。
模型在每个层的输出的隐藏状态加上可选的初始嵌入输出。attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回） - 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每个层一个）。
在自注意力头中使用注意力 softmax 后的注意力权重，用于计算加权平均值。
UniSpeechSatForSequenceClassification 前向方法，覆盖__call__特殊方法。
虽然前向传播的配方需要在此函数内定义，但应该在此之后调用Module实例，而不是这个，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。
示例：
>>> from transformers import AutoFeatureExtractor, UniSpeechSatForSequenceClassification >>> from datasets import load_dataset >>> import torch >>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation") >>> dataset = dataset.sort("id") >>> sampling_rate = dataset.features["audio"].sampling_rate >>> feature_extractor = AutoFeatureExtractor.from_pretrained("microsoft/unispeech-sat-base-100h-libri-ft") >>> model = UniSpeechSatForSequenceClassification.from_pretrained("microsoft/unispeech-sat-base-100h-libri-ft") >>> # audio file is decoded on the fly >>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt") >>> with torch.no_grad(): ... logits = model(**inputs).logits >>> predicted_class_ids = torch.argmax(logits, dim=-1).item() >>> predicted_label = model.config.id2label[predicted_class_ids] >>> # compute loss - target_label is e.g. "down" >>> target_label = model.config.id2label[0] >>> inputs["labels"] = torch.tensor([model.config.label2id[target_label]]) >>> loss = model(**inputs).loss
UniSpeechSatForAudioFrameClassification
class transformers.UniSpeechSatForAudioFrameClassification
( config )
参数
config（UniSpeechSatConfig](/docs/transformers/v4.37.2/en/main_classes/model#transformers.PreTrainedModel.from_pretrained)方法以加载模型权重。
UniSpeech-SAT 模型顶部带有用于说话人分离等任务的帧分类头。
UniSpeechSat 是由 Alexei Baevski、Henry Zhou、Abdelrahman Mohamed、Michael Auli 在wav2vec 2.0:自监督学习语音表示的框架中提出的。
此模型继承自 PreTrainedModel。查看超类文档以了解库为所有模型实现的通用方法（如下载或保存等）。
此模型是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。
forward
( input_values: Optional attention_mask: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.TokenClassifierOutput or tuple(torch.FloatTensor)
参数
input_values（形状为(batch_size, sequence_length)的torch.FloatTensor） - 输入原始语音波形的浮点值。可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得。通过 AutoProcessor 将数组准备为input_values，并将其转换为torch.FloatTensor类型的张量。有关详细信息，请参阅 Wav2Vec2Processor.call()。attention_mask（形状为(batch_size, sequence_length)的torch.LongTensor，可选） - 用于避免在填充标记索引上执行卷积和注意力的掩码。掩码值选择在[0, 1]中：
- 对于未被
masked的标记为 1 的标记， - 对于被
masked的标记为 0。
- 什么是注意力掩码？
只有在相应的处理器具有config.return_attention_mask == True时才应传递attention_mask。对于所有处理器具有config.return_attention_mask == False的模型，例如microsoft/unispeech-sat-base-100h-libri-ft，在进行批量推断时，应不传递attention_mask以避免性能下降。对于这样的模型，input_values应该简单地用 0 填充并在不带attention_mask的情况下传递。请注意，这些模型根据input_values是否填充而产生略有不同的结果。 output_attentions（bool，可选）— 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回的张量下的attentions。output_hidden_states（bool，可选）— 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回的张量下的hidden_states。return_dict（bool，可选）— 是否返回 ModelOutput 而不是普通元组。labels（形状为(batch_size,)的torch.LongTensor，可选）— 用于计算序列分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]范围内。如果config.num_labels == 1，则计算回归损失（均方损失），如果config.num_labels > 1，则计算分类损失（交叉熵）。
返回
transformers.modeling_outputs.TokenClassifierOutput 或tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.TokenClassifierOutput 或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False时）包含各种元素，具体取决于配置（UniSpeechSatConfig）和输入。
loss（形状为(1,)的torch.FloatTensor，可选，当提供labels时返回）— 分类损失。logits（形状为(batch_size, sequence_length, config.num_labels)的torch.FloatTensor）— 分类分数（SoftMax 之前）。hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）— 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（如果模型有嵌入层的输出，+ 每个层的输出）。
模型在每个层的输出隐藏状态加上可选的初始嵌入输出。attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）— 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每个层一个）。
注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
UniSpeechSatForAudioFrameClassification 的前向方法重写了__call__特殊方法。
尽管前向传递的配方需要在此函数内定义，但应该在此之后调用Module实例，而不是这个，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。
示例：
>>> from transformers import AutoFeatureExtractor, UniSpeechSatForAudioFrameClassification >>> from datasets import load_dataset >>> import torch >>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation") >>> dataset = dataset.sort("id") >>> sampling_rate = dataset.features["audio"].sampling_rate >>> feature_extractor = AutoFeatureExtractor.from_pretrained("microsoft/unispeech-sat-base-plus-sd") >>> model = UniSpeechSatForAudioFrameClassification.from_pretrained("microsoft/unispeech-sat-base-plus-sd") >>> # audio file is decoded on the fly >>> inputs = feature_extractor(dataset[0]["audio"]["array"], return_tensors="pt", sampling_rate=sampling_rate) >>> with torch.no_grad(): ... logits = model(**inputs).logits >>> probabilities = torch.sigmoid(logits[0]) >>> # labels is a one-hot array of shape (num_frames, num_speakers) >>> labels = (probabilities > 0.5).long() >>> labels[0].tolist() [0, 0]
UniSpeechSatForXVector
class transformers.UniSpeechSatForXVector
( config )
参数
config（UniSpeechSatConfig） — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。
UniSpeech-SAT 模型在顶部使用 XVector 特征提取头，用于说话者验证等任务。
UniSpeechSat 是由 Alexei Baevski、Henry Zhou、Abdelrahman Mohamed、Michael Auli 在wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations中提出的。
此模型继承自 PreTrainedModel。查看超类文档以了解库为所有模型实现的通用方法（例如下载或保存等）。
此模型是 PyTorch 的torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。
forward
( input_values: Optional attention_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None labels: Optional = None ) → export const metadata = 'undefined';transformers.modeling_outputs.XVectorOutput or tuple(torch.FloatTensor)
参数
input_values（形状为(batch_size, sequence_length)的torch.FloatTensor） — 输入原始语音波形的浮点值。可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得值，例如通过 soundfile 库（pip install soundfile）。要准备好数组为input_values，应使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。有关详细信息，请参阅 Wav2Vec2Processor.call()。attention_mask（形状为(batch_size, sequence_length)的torch.LongTensor，可选） — 用于避免在填充标记索引上执行卷积和注意力的掩码。掩码值选在[0, 1]范围内：
- 对于
未屏蔽的标记， - 对于
屏蔽的标记为 0。
- 什么是注意力掩码？
只有当相应的处理器具有config.return_attention_mask == True时，才应传递attention_mask。对于所有处理器具有config.return_attention_mask == False的模型，例如microsoft/unispeech-sat-base-100h-libri-ft，在进行批量推断时应不传递attention_mask以避免性能下降。对于这些模型，input_values应简单地填充为 0 并在不传递attention_mask的情况下传递。请注意，这些模型的结果也会因input_values是否填充而略有不同。 output_attentions（bool，可选） — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。output_hidden_states（bool，可选） — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。return_dict（bool，可选） — 是否返回 ModelOutput 而不是普通元组。labels（形状为(batch_size,)的torch.LongTensor，可选） — 用于计算序列分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]范围内。如果config.num_labels == 1，则计算回归损失（均方损失），如果config.num_labels > 1，则计算分类损失（交叉熵）。
返回
transformers.modeling_outputs.XVectorOutput 或tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.XVectorOutput 或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False）包含各种元素，具体取决于配置（UniSpeechSatConfig）和输入。
loss(torch.FloatTensor，形状为(1,)，optional，当提供labels时返回) — 分类损失。logits(torch.FloatTensor，形状为(batch_size, config.xvector_output_dim)) — AMSoftmax 之前的分类隐藏状态。embeddings(torch.FloatTensor，形状为(batch_size, config.xvector_output_dim)) — 用于基于向量相似性检索的话语嵌入。hidden_states(tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每层的输出）。
模型在每一层的隐藏状态加上初始嵌入输出。attentions(tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
在注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
UniSpeechSatForXVector 的前向方法，覆盖__call__特殊方法。
虽然前向传递的方法需要在此函数内定义，但应该在此之后调用Module实例，而不是在此处调用，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。
示例：
>>> from transformers import AutoFeatureExtractor, UniSpeechSatForXVector >>> from datasets import load_dataset >>> import torch >>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation") >>> dataset = dataset.sort("id") >>> sampling_rate = dataset.features["audio"].sampling_rate >>> feature_extractor = AutoFeatureExtractor.from_pretrained("microsoft/unispeech-sat-base-plus-sv") >>> model = UniSpeechSatForXVector.from_pretrained("microsoft/unispeech-sat-base-plus-sv") >>> # audio file is decoded on the fly >>> inputs = feature_extractor( ... [d["array"] for d in dataset[:2]["audio"]], sampling_rate=sampling_rate, return_tensors="pt", padding=True ... ) >>> with torch.no_grad(): ... embeddings = model(**inputs).embeddings >>> embeddings = torch.nn.functional.normalize(embeddings, dim=-1).cpu() >>> # the resulting embeddings can be used for cosine similarity-based retrieval >>> cosine_sim = torch.nn.CosineSimilarity(dim=-1) >>> similarity = cosine_sim(embeddings[0], embeddings[1]) >>> threshold = 0.7 # the optimal threshold is dataset-dependent >>> if similarity < threshold: ... print("Speakers are not the same!") >>> round(similarity.item(), 2) 0.97
UniSpeechSatForPreTraining
class transformers.UniSpeechSatForPreTraining
( config: UniSpeechSatConfig )
参数
config(UniSpeechSatConfig) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。
UniSpeechSat 模型具有量化器和顶部的VQ头。UniSpeechSat 是由 Alexei Baevski、Henry Zhou、Abdelrahman Mohamed、Michael Auli 在《wav2vec 2.0:自监督学习语音表示的框架》中提出的。
该模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（如下载或保存等）。
该模型是 PyTorch torch.nn.Module子类。将其用作常规的 PyTorch 模块，并参考 PyTorch 文档以获取与一般用法和行为相关的所有内容。
forward
( input_values: Optional attention_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.models.unispeech_sat.modeling_unispeech_sat.UniSpeechSatForPreTrainingOutput or tuple(torch.FloatTensor)
参数
input_values(torch.FloatTensor，形状为(batch_size, sequence_length)) — 输入原始语音波形的浮点值。可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得。通过声音文件库（pip install soundfile）等方式。要准备好数组为input_values，应使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。有关详细信息，请参阅 Wav2Vec2Processor.call()。attention_mask(torch.LongTensor，形状为(batch_size, sequence_length)，optional) — 用于避免在填充标记索引上执行卷积和注意力的掩码。掩码值选择在[0, 1]之间：
- 1 代表未被掩盖的标记，
- 0 代表被掩盖的标记。
- 什么是注意力掩码？
只有当相应的处理器具有config.return_attention_mask == True时才应传递attention_mask。对于所有处理器具有config.return_attention_mask == False的模型，例如 microsoft/unispeech-sat-base-100h-libri-ft，在进行批量推断时，应避免传递attention_mask以避免性能下降。对于这些模型，input_values应该简单地用 0 填充并在不传递attention_mask的情况下传递。请注意，这些模型根据input_values是否填充会产生略有不同的结果。 output_attentions(bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。output_hidden_states(bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。return_dict(bool, optional) — 是否返回一个 ModelOutput 而不是一个普通元组。
返回
transformers.models.unispeech_sat.modeling_unispeech_sat.UniSpeechSatForPreTrainingOutput 或 tuple(torch.FloatTensor)
一个 transformers.models.unispeech_sat.modeling_unispeech_sat.UniSpeechSatForPreTrainingOutput 或一个 torch.FloatTensor 元组（如果传递了return_dict=False或config.return_dict=False时）包含各种元素，取决于配置（UniSpeechSatConfig）和输入。
loss(optional，在模型处于训练模式时返回，形状为(1,)的torch.FloatTensor) — 总损失，作为对比损失（L_m）和多样性损失（L_d）的总和，如官方论文中所述。 （分类）损失。projected_states(torch.FloatTensor，形状为(batch_size, sequence_length, config.proj_codevector_dim)) — 模型的隐藏状态投影到 config.proj_codevector_dim，可用于预测掩码投影量化状态。projected_quantized_states(torch.FloatTensor，形状为(batch_size, sequence_length, config.proj_codevector_dim)) — 投影到 config.proj_codevector_dim 的量化提取特征向量，表示对比损失的正目标向量。hidden_states(tuple(torch.FloatTensor), 可选的，当传递output_hidden_states=True或当config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入输出，一个用于每一层的输出）。
模型在每一层输出的隐藏状态加上初始嵌入输出。attentions(tuple(torch.FloatTensor), 可选的，当传递output_attentions=True或当config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
注意力权重在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
UniSpeechSatForPreTraining 的前向方法，覆盖了__call__特殊方法。
虽然前向传递的步骤需要在这个函数内定义，但应该在之后调用Module实例，而不是这个函数，因为前者会负责运行前后处理步骤，而后者会默默地忽略它们。
示例：
>>> import torch >>> from transformers import AutoFeatureExtractor, UniSpeechSatForPreTraining >>> from transformers.models.unispeech_sat.modeling_unispeech_sat import _compute_mask_indices >>> feature_extractor = AutoFeatureExtractor.from_pretrained("microsoft/unispeech-sat-base") >>> model = UniSpeechSatForPreTraining.from_pretrained("microsoft/unispeech-sat-base") >>> # TODO: Add full pretraining example
Transformers 4.37 中文文档（七十九）（2）https://developer.aliyun.com/article/1564171
