CLAP
原始文本：
huggingface.co/docs/transformers/v4.37.2/en/model_doc/clap
概述
CLAP 模型由 Yusong Wu，Ke Chen，Tianyu Zhang，Yuchen Hui，Taylor Berg-Kirkpatrick，Shlomo Dubnov 在大规模对比语言音频预训练与特征融合和关键词到标题增强中提出。
CLAP（对比语言音频预训练）是一个神经网络，训练于各种（音频，文本）对。它可以被指示来预测最相关的文本片段，给定一个音频，而不是直接为任务进行优化。CLAP 模型使用 SWINTransformer 从对数 Mel 频谱图输入中获取音频特征，并使用 RoBERTa 模型获取文本特征。然后，文本和音频特征被投影到具有相同维度的潜在空间中。然后使用投影音频和文本特征之间的点积作为相似分数。
论文摘要如下：
对比学习在多模态表示学习领域取得了显著的成功。在本文中，我们提出了对比语言音频预训练的流水线，通过将音频数据与自然语言描述相结合来开发音频表示。为了实现这一目标，我们首先发布了 LAION-Audio-630K，一个包含来自不同数据源的 633,526 个音频文本对的大型集合。其次，我们通过考虑不同的音频编码器和文本编码器构建了对比语言音频预训练模型。我们将特征融合机制和关键词到标题增强纳入模型设计中，以进一步使模型能够处理长度可变的音频输入并增强性能。第三，我们进行了全面的实验来评估我们的模型在三个任务中的表现：文本到音频检索，零样本音频分类和监督音频分类。结果表明，我们的模型在文本到音频检索任务中取得了优越的性能。在音频分类任务中，该模型在零样本设置下取得了最先进的性能，并且能够获得与非零样本设置中模型结果相媲美的性能。LAION-Audio-6
该模型由Younes Belkada和Arthur Zucker贡献。原始代码可以在这里找到。
ClapConfig
class transformers.ClapConfig
( text_config = None audio_config = None logit_scale_init_value = 14.285714285714285 projection_dim = 512 projection_hidden_act = 'relu' initializer_factor = 1.0 **kwargs )
参数
text_config（dict，可选）— 用于初始化 ClapTextConfig 的配置选项字典。audio_config（dict，可选）— 用于初始化 ClapAudioConfig 的配置选项字典。logit_scale_init_value（float，可选，默认为 14.29）— logit_scale参数的初始值。默认值根据原始 CLAP 实现使用。projection_dim（int，可选，默认为 512）— 文本和音频投影层的维度。projection_hidden_act（str，可选，默认为"relu"）— 投影层的激活函数。initializer_factor（float，可选，默认为 1.0）— 用于缩放模型权重初始化的因子。kwargs（可选）— 关键字参数的字典。
ClapConfig 是用于存储 ClapModel 配置的配置类。根据指定的参数实例化一个 CLAP 模型，定义文本模型和音频模型配置。使用默认值实例化配置将产生与 CLAP laion/clap-htsat-fused 架构类似的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。
示例：
>>> from transformers import ClapConfig, ClapModel >>> # Initializing a ClapConfig with laion-ai/base style configuration >>> configuration = ClapConfig() >>> # Initializing a ClapModel (with random weights) from the laion-ai/base style configuration >>> model = ClapModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config >>> # We can also initialize a ClapConfig from a ClapTextConfig and a ClapAudioConfig >>> from transformers import ClapTextConfig, ClapAudioConfig >>> # Initializing a ClapText and ClapAudioConfig configuration >>> config_text = ClapTextConfig() >>> config_audio = ClapAudioConfig() >>> config = ClapConfig.from_text_audio_configs(config_text, config_audio)
from_text_audio_configs
( text_config: ClapTextConfig audio_config: ClapAudioConfig **kwargs ) → export const metadata = 'undefined';ClapConfig
返回
ClapConfig
一个配置对象的实例
从 clap 文本模型配置和 clap 音频模型配置实例化一个 ClapConfig（或派生类）。
ClapTextConfig
class transformers.ClapTextConfig
( vocab_size = 50265 hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.1 attention_probs_dropout_prob = 0.1 max_position_embeddings = 514 type_vocab_size = 1 initializer_factor = 1.0 layer_norm_eps = 1e-12 projection_dim = 512 pad_token_id = 1 bos_token_id = 0 eos_token_id = 2 position_embedding_type = 'absolute' use_cache = True projection_hidden_act = 'relu' **kwargs )
参数
vocab_size(int, 可选, 默认为 30522) — CLAP 模型的词汇表大小。定义了在调用 ClapTextModel 时可以表示的不同标记的数量。hidden_size(int, 可选, 默认为 768) — 编码器层和池化层的维度。num_hidden_layers(int, 可选, 默认为 12) — Transformer 编码器中的隐藏层数。num_attention_heads(int, 可选, 默认为 12) — Transformer 编码器中每个注意力层的注意力头数。intermediate_size(int, 可选, 默认为 3072) — Transformer 编码器中“中间”（通常称为前馈）层的维度。hidden_act(str或Callable, 可选, 默认为"relu") — 编码器和池化层中的非线性激活函数（函数或字符串）。如果是字符串，支持"relu"、"relu"、"silu"和"relu_new"。hidden_dropout_prob(float, 可选, 默认为 0.1) — 嵌入层、编码器和池化层中所有全连接层的丢弃概率。attention_probs_dropout_prob(float, 可选, 默认为 0.1) — 注意力概率的丢弃比例。max_position_embeddings(int, 可选, 默认为 512) — 此模型可能使用的最大序列长度。通常设置为较大的值以防万一（例如，512 或 1024 或 2048）。type_vocab_size(int, 可选, 默认为 2) — 在调用 ClapTextModel 时传递的token_type_ids的词汇表大小。layer_norm_eps(float, 可选, 默认为 1e-12) — 层归一化层使用的 epsilon。position_embedding_type(str, 可选, 默认为"absolute") — 位置嵌入的类型。选择"absolute"、"relative_key"、"relative_key_query"中的一个。对于位置嵌入，请使用"absolute"。有关"relative_key"的更多信息，请参考Self-Attention with Relative Position Representations (Shaw et al.)。有关"relative_key_query"的更多信息，请参考[Improve Transformer Models with Better Relative Position Embeddings (Huang et al.)]中的Method 4 (https://arxiv.org/abs/2009.13658)。is_decoder(bool, 可选, 默认为False) — 模型是否用作解码器。如果为False，则模型用作编码器。use_cache(bool, 可选, 默认为True) — 模型是否应返回最后的键/值注意力（并非所有模型都使用）。仅在config.is_decoder=True时相关。projection_hidden_act(str, 可选, 默认为"relu") — 投影层中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"silu"和"gelu_new"。projection_dim(int, 可选, 默认为 512) —ClapTextModelWithProjection的投影头的维度。
这是一个配置类，用于存储 ClapTextModel 的配置。根据指定的参数实例化一个 CLAP 模型，定义模型架构。使用默认值实例化配置将产生类似于 CLAP calp-hsat-fused架构的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。
示例:
>>> from transformers import ClapTextConfig, ClapTextModel >>> # Initializing a CLAP text configuration >>> configuration = ClapTextConfig() >>> # Initializing a model (with random weights) from the configuration >>> model = ClapTextModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config
ClapAudioConfig
class transformers.ClapAudioConfig
( window_size = 8 num_mel_bins = 64 spec_size = 256 hidden_act = 'gelu' patch_size = 4 patch_stride = [4, 4] num_classes = 527 hidden_size = 768 projection_dim = 512 depths = [2, 2, 6, 2] num_attention_heads = [4, 8, 16, 32] enable_fusion = False hidden_dropout_prob = 0.1 fusion_type = None patch_embed_input_channels = 1 flatten_patch_embeds = True patch_embeds_hidden_size = 96 enable_patch_layer_norm = True drop_path_rate = 0.0 attention_probs_dropout_prob = 0.0 qkv_bias = True mlp_ratio = 4.0 aff_block_r = 4 num_hidden_layers = 4 projection_hidden_act = 'relu' layer_norm_eps = 1e-05 initializer_factor = 1.0 **kwargs )
参数
window_size(int, 可选, 默认为 8) — 频谱图的图像大小num_mel_bins(int, 可选, 默认为 64) — 每帧使用的 mel 特征数。应与ClapProcessor类中使用的值对应。spec_size(int, 可选, 默认为 256) — 模型支持的频谱图的期望输入大小。它可以与ClapFeatureExtractor的输出不同，此时输入特征将被调整大小。对应于音频模型的image_size。hidden_act(str, 可选, 默认为"gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"silu"和"gelu_new"。patch_size(int, 可选, 默认为 4) — 音频频谱图的补丁大小patch_stride(list, 可选, 默认为[4, 4]) — 音频频谱图的补丁步幅num_classes(int, 可选, 默认为 527) — 用于头部训练的类别数hidden_size(int, 可选, 默认为 768) — 音频编码器输出的隐藏大小。对应于倒数第二层输出的维度，发送到投影 MLP 层。projection_dim(int, 可选, 默认为 512) — 投影层的隐藏大小。depths(list, 可选, 默认为[2, 2, 6, 2]) — 用于音频模型的 Swin 层的深度num_attention_heads(list, 可选, 默认为[4, 8, 16, 32]) — 用于音频模型的 Swin 层的注意力头数。enable_fusion(bool, 可选, 默认为False) — 是否启用补丁融合。这是作者的主要贡献，应该能够获得最佳结果。hidden_dropout_prob(float, 可选, 默认为 0.1) — 编码器中所有全连接层的丢失概率。fusion_type([type], 可选) — 用于补丁融合的融合类型。patch_embed_input_channels(int, 可选, 默认为 1) — 用于输入频谱图的通道数flatten_patch_embeds(bool, 可选, 默认为True) — 是否展平补丁嵌入patch_embeds_hidden_size(int, optional, 默认为 96) — 补丁嵌入的隐藏大小。它用作输出通道数。enable_patch_layer_norm(bool, optional, 默认为True) — 是否启用补丁嵌入的层归一化drop_path_rate(float, optional, 默认为 0.0) — 用于补丁融合的 Drop path 率。attention_probs_dropout_prob(float, optional, 默认为 0.0) — 注意力概率的 dropout 比率。qkv_bias(bool, optional, 默认为True) — 是否向查询、键、值投影添加偏置。mlp_ratio(float, optional, 默认为 4.0) — MLP 隐藏维度与嵌入维度的比率。aff_block_r(int, optional, 默认为 4) — AudioFF 块中使用的 downsize_ratio。num_hidden_layers(int, optional, 默认为 4) — Transformer 编码器中的隐藏层数量。projection_hidden_act(str, optional, 默认为"relu") — 投影层中的非线性激活函数（函数或字符串）。如果是字符串，则支持"gelu"、"relu"、"silu"和"gelu_new"。layer_norm_eps([type], optional, 默认为 1e-05) — 层归一化层使用的 epsilon。initializer_factor(float, optional, 默认为 1.0) — 用于初始化所有权重矩阵的因子（应保持为 1，内部用于初始化测试）。
这是用于存储 ClapAudioModel 配置的配置类。根据指定的参数实例化一个 CLAP 音频编码器，定义模型架构。使用默认值实例化配置将产生类似于 CLAP laion/clap-htsat-fused架构的音频编码器的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。
示例：
>>> from transformers import ClapAudioConfig, ClapAudioModel >>> # Initializing a ClapAudioConfig with laion/clap-htsat-fused style configuration >>> configuration = ClapAudioConfig() >>> # Initializing a ClapAudioModel (with random weights) from the laion/clap-htsat-fused style configuration >>> model = ClapAudioModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config
ClapFeatureExtractor
class transformers.ClapFeatureExtractor
( feature_size = 64 sampling_rate = 48000 hop_length = 480 max_length_s = 10 fft_window_size = 1024 padding_value = 0.0 return_attention_mask = False frequency_min: float = 0 frequency_max: float = 14000 top_db: int = None truncation: str = 'fusion' padding: str = 'repeatpad' **kwargs )
参数
feature_size(int, optional, 默认为 64) — 提取的 Mel 频谱图的特征维度。这对应于 Mel 滤波器的数量（n_mels）。sampling_rate(int, optional, 默认为 48000) — 音频文件应数字化的采样率，以赫兹（Hz）表示。这仅用于警告用户，如果输入到特征提取器的音频采样率不同。hop_length(int,optional, 默认为 480) — 用于获取 Mel Spectrogram 的 STFT 中重叠窗口的长度。音频将被分割成较小的frames，每个帧之间的步长为hop_length。max_length_s(int, optional, 默认为 10) — 模型的最大输入长度（以秒为单位）。这用于填充音频。fft_window_size(int, optional, 默认为 1024) — 应用傅立叶变换的窗口大小（以样本为单位）。这控制了频谱图的频率分辨率。400 表示傅立叶变换在 400 个样本的窗口上计算。padding_value(float, optional, 默认为 0.0) — 用于填充音频的填充值。应对应于静音。return_attention_mask(bool, optional, 默认为False) — 模型是否应返回与输入对应的注意力掩码。frequency_min(float, optional, 默认为 0) — 感兴趣的最低频率。对于低于此值的频率，将不计算 STFT。frequency_max（float，可选，默认为 14000）- 感兴趣的最高频率。对于超过此值的值，STFT 将不会计算。top_db（float，可选）- 用于将 mel 频谱图转换为对数刻度的最高分贝值。有关更多详细信息，请参阅audio_utils.power_to_db函数truncation（str，可选，默认为"fusion"）- 用于长音频输入的截断模式。有两种模式可用：
fusion将使用_random_mel_fusion，它堆叠了来自 mel 频谱图的 3 个随机裁剪和整个 mel 频谱图的降采样版本。如果config.fusion设置为 True，则较短的音频也需要返回 4 个 mel，这将只是从填充音频中获得的原始 mel 的副本。rand_trunc将选择 mel 频谱图的随机裁剪。
padding（str，可选，默认为"repeatpad"）- 用于较短音频输入的填充模式。最初实现了三种模式：
repeatpad：音频被重复，然后被填充以适应max_length。repeat：音频被重复，然后被裁剪以适应max_lengthpad：音频被填充。
构建一个 CLAP 特征提取器。
这个特征提取器继承自 SequenceFeatureExtractor，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。
这个类使用自定义的 numpy 实现短时傅里叶变换（STFT）从原始语音中提取 mel 滤波器组特征，这应该与 pytorch 的torch.stft等效。
to_dict
( ) → export const metadata = 'undefined';Dict[str, Any]
返回
Dict[str, Any]
构成此配置实例的所有属性的字典，除了 mel 滤波器组，它们不需要被保存或打印，因为它们太长。
将此实例序列化为 Python 字典。
ClapProcessor
class transformers.ClapProcessor
( feature_extractor tokenizer )
参数
feature_extractor（ClapFeatureExtractor）- 音频处理器是必需的输入。tokenizer（RobertaTokenizerFast）- 分词器是必需的输入。
构建一个 CLAP 处理器，将 CLAP 特征提取器和 RoBerta 分词器封装成一个单一处理器。
ClapProcessor 提供了 ClapFeatureExtractor 和 RobertaTokenizerFast 的所有功能。有关更多信息，请参阅__call__()和 decode()。
batch_decode
( *args **kwargs )
这种方法将所有参数转发给 RobertaTokenizerFast 的 batch_decode()。请参考此方法的文档字符串以获取更多信息。
decode
( *args **kwargs )
这种方法将所有参数转发给 RobertaTokenizerFast 的 decode()。请参考此方法的文档字符串以获取更多信息。
ClapModel
class transformers.ClapModel
( config: ClapConfig )
参数
config(ClapConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained()方法以加载模型权重。
此模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入、修剪头等）。
此模型还是一个 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。
forward
( input_ids: Optional = None input_features: Optional = None is_longer: Optional = None attention_mask: Optional = None position_ids: Optional = None return_loss: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.models.clap.modeling_clap.ClapOutput or tuple(torch.FloatTensor)
参数
input_ids(torch.LongTensor，形状为(batch_size, sequence_length)) — 词汇表中输入序列标记的索引。默认情况下，如果提供填充，则将被忽略。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
输入 ID 是什么？attention_mask(torch.Tensor，形状为(batch_size, sequence_length)，可选) — 避免在填充标记索引上执行注意力的掩码。选择的掩码值为[0, 1]：
- 对于未被“掩码”的标记为 1，
- 对于被“掩码”的标记为 0。
- 注意力掩码是什么？
position_ids(torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围为[0, config.max_position_embeddings - 1]。
位置 ID 是什么？input_features(torch.FloatTensor，形状为(batch_size, num_channels, height, width)) — 输入音频特征。这应该由 ClapFeatureExtractor 类返回，您也可以从 AutoFeatureExtractor 中检索。有关详细信息，请参阅ClapFeatureExtractor.__call__()。return_loss(bool, 可选) — 是否返回对比损失。output_attentions(bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请查看返回张量下的attentions。output_hidden_states(bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请查看返回张量下的hidden_states。return_dict(bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。
返回
transformers.models.clap.modeling_clap.ClapOutput 或 tuple(torch.FloatTensor)
一个transformers.models.clap.modeling_clap.ClapOutput或一个torch.FloatTensor元组（如果传递了return_dict=False或当config.return_dict=False时）包含根据配置（）和输入的不同元素。
loss(torch.FloatTensorof shape(1,), 可选, 当return_loss为True时返回) — 音频-文本相似性的对比损失。logits_per_audio:(torch.FloatTensorof shape(audio_batch_size, text_batch_size)) —audio_embeds和text_embeds之间的缩放点积分数。这代表了音频-文本相似度分数。logits_per_text:(torch.FloatTensorof shape(text_batch_size, audio_batch_size)) —text_embeds和audio_embeds之间的缩放点积分数。这代表了文本-音频相似度分数。text_embeds(torch.FloatTensorof shape(batch_size, output_dim) — 通过将 ClapTextModel 的汇聚输出应用到投影层而获得的文本嵌入。audio_embeds(torch.FloatTensorof shape(batch_size, output_dim) — 通过将 ClapAudioModel 的汇聚输出应用到投影层而获得的音频嵌入。text_model_output(BaseModelOutputWithPooling):ClapTextModel 的输出。audio_model_output(BaseModelOutputWithPooling):ClapAudioModel 的输出。
ClapModel 的前向方法，覆盖了 __call__ 特殊方法。
虽然前向传递的配方需要在此函数内定义，但应该在此之后调用 Module 实例，而不是这个，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。
示例：
>>> from datasets import load_dataset >>> from transformers import AutoProcessor, ClapModel >>> dataset = load_dataset("ashraq/esc50") >>> audio_sample = dataset["train"]["audio"][0]["array"] >>> model = ClapModel.from_pretrained("laion/clap-htsat-unfused") >>> processor = AutoProcessor.from_pretrained("laion/clap-htsat-unfused") >>> input_text = ["Sound of a dog", "Sound of vaccum cleaner"] >>> inputs = processor(text=input_text, audios=audio_sample, return_tensors="pt", padding=True) >>> outputs = model(**inputs) >>> logits_per_audio = outputs.logits_per_audio # this is the audio-text similarity score >>> probs = logits_per_audio.softmax(dim=-1) # we can take the softmax to get the label probabilities
get_text_features
( input_ids: Optional = None attention_mask: Optional = None position_ids: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';text_features (torch.FloatTensor of shape (batch_size, output_dim)
参数
input_ids(torch.LongTensorof shape(batch_size, sequence_length)) — 词汇表中输入序列标记的索引。默认情况下将忽略填充。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
什么是输入 ID？attention_mask(torch.Tensorof shape(batch_size, sequence_length), 可选) — 避免在填充标记索引上执行注意力的掩码。掩码值选在[0, 1]：
- 1 代表
未被掩码的标记， - 0 代表
被掩码的标记。
- 什么是注意力掩码？
position_ids(torch.LongTensorof shape(batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的位置索引。在范围[0, config.max_position_embeddings - 1]中选择。
什么是位置 ID？output_attentions(bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。output_hidden_states(bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。return_dict(bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
返回
text_features (torch.FloatTensor of shape (batch_size, output_dim)
通过将 ClapTextModel 的汇聚输出应用到投影层而获得的文本嵌入。
ClapModel 的前向方法，覆盖了 __call__ 特殊方法。
虽然前向传递的步骤需要在这个函数内定义，但应该在此之后调用 Module 实例，而不是这个函数，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。
示例:
>>> from transformers import AutoTokenizer, ClapModel >>> model = ClapModel.from_pretrained("laion/clap-htsat-unfused") >>> tokenizer = AutoTokenizer.from_pretrained("laion/clap-htsat-unfused") >>> inputs = tokenizer(["the sound of a cat", "the sound of a dog"], padding=True, return_tensors="pt") >>> text_features = model.get_text_features(**inputs)
get_audio_features
( input_features: Optional = None is_longer: Optional = None attention_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';audio_features (torch.FloatTensor of shape (batch_size, output_dim)
参数
input_features(torch.FloatTensor，形状为(batch_size, num_channels, height, width)) — 输入音频特征。这应该由 ClapFeatureExtractor 类返回，您也可以从 AutoFeatureExtractor 中检索。有关详细信息，请参阅ClapFeatureExtractor.__call__()。is_longer(torch.FloatTensor，形状为(batch_size, 1)，可选) — 音频片段是否比max_length更长。如果为True，将启用特征融合以增强特征。output_attentions(bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的attentions。output_hidden_states(bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的hidden_states。return_dict(bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通元组。
返回
audio_features (torch.FloatTensor，形状为 (batch_size, output_dim))
通过将投影层应用于 ClapAudioModel 的汇聚输出获得的音频嵌入。
ClapModel 的前向方法，覆盖了 __call__ 特殊方法。
虽然前向传递的步骤需要在这个函数内定义，但应该在此之后调用 Module 实例，而不是这个函数，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。
示例:
>>> from transformers import AutoFeatureExtractor, ClapModel >>> import torch >>> model = ClapModel.from_pretrained("laion/clap-htsat-unfused") >>> feature_extractor = AutoFeatureExtractor.from_pretrained("laion/clap-htsat-unfused") >>> random_audio = torch.rand((16_000)) >>> inputs = feature_extractor(random_audio, return_tensors="pt") >>> audio_features = model.get_audio_features(**inputs)
Transformers 4.37 中文文档（七十五）（2）https://developer.aliyun.com/article/1564208
