Transformers 4.37 中文文档（七十六）（2）-阿里云开发者社区

Transformers 4.37 中文文档（七十六）（1）https://developer.aliyun.com/article/1564176

模型结构

MusicGen 模型可以分解为三个不同的阶段：

文本编码器：将文本输入映射到一系列隐藏状态表示。预训练的 MusicGen 模型使用来自 T5 或 Flan-T5 的冻结文本编码器
MusicGen 解码器：一个语言模型（LM），根据编码器隐藏状态表示自回归生成音频标记（或代码）
音频编码器/解码器：用于将音频提示编码为提示标记，并通过解码器预测的音频标记恢复音频波形

因此，MusicGen 模型可以作为独立的解码器模型使用，对应于类 MusicgenForCausalLM，或作为包含文本编码器和音频编码器/解码器的复合模型使用，对应于类 MusicgenForConditionalGeneration。如果只需从预训练检查点加载解码器，则可以首先指定正确的配置，或通过复合模型的.decoder属性访问：

>>> from transformers import AutoConfig, MusicgenForCausalLM, MusicgenForConditionalGeneration
>>> # Option 1: get decoder config and pass to `.from_pretrained`
>>> decoder_config = AutoConfig.from_pretrained("facebook/musicgen-small").decoder
>>> decoder = MusicgenForCausalLM.from_pretrained("facebook/musicgen-small", **decoder_config)
>>> # Option 2: load the entire composite model, but only return the decoder
>>> decoder = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-small").decoder

由于文本编码器和音频编码器/解码器模型在训练期间被冻结，MusicGen 解码器 MusicgenForCausalLM 可以在编码器隐藏状态和音频代码的数据集上独立训练。对于推断，训练好的解码器可以与冻结的文本编码器和音频编码器/解码器结合，以恢复复合 MusicgenForConditionalGeneration 模型。

提示：

MusicGen 是在 Encodec 的 32kHz 检查点上训练的。您应确保使用 Encodec 模型的兼容版本。
采样模式往往比贪婪模式提供更好的结果 - 您可以在调用MusicgenForConditionalGeneration.generate()时使用变量do_sample切换采样。

MusicgenDecoderConfig

`class transformers.MusicgenDecoderConfig`

<来源>

( vocab_size = 2048 max_position_embeddings = 2048 num_hidden_layers = 24 ffn_dim = 4096 num_attention_heads = 16 layerdrop = 0.0 use_cache = True activation_function = 'gelu' hidden_size = 1024 dropout = 0.1 attention_dropout = 0.0 activation_dropout = 0.0 initializer_factor = 0.02 scale_embedding = False num_codebooks = 4 audio_channels = 1 pad_token_id = 2048 bos_token_id = 2048 eos_token_id = None tie_word_embeddings = False **kwargs )

参数

vocab_size（int，可选，默认为 2048）— MusicgenDecoder 模型的词汇量。定义了在调用MusicgenDecoder时传递的inputs_ids可以表示的不同标记数量。
hidden_size（int，可选，默认为 1024）— 层和池化层的维度。
num_hidden_layers（int，可选，默认为 24）— 解码器层数。
num_attention_heads（int，可选，默认为 16）— Transformer 块中每个注意力层的注意力头数。
ffn_dim（int，可选，默认为 4096）— Transformer 块中“中间”（通常称为前馈）层的维度。
activation_function（str或function，可选，默认为"gelu"）— 解码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"silu"和"gelu_new"。
dropout（float，可选，默认为 0.1）— 嵌入、文本编码器和池化器中所有全连接层的 dropout 概率。
attention_dropout（float，可选，默认为 0.0）— 注意力概率的 dropout 比率。
activation_dropout（float，可选，默认为 0.0）— 全连接层内部激活的 dropout 比率。
max_position_embeddings（int，可选，默认为 2048）— 该模型可能被使用的最大序列长度。通常情况下，将其设置为一个较大的值以防万一（例如 512、1024 或 2048）。
initializer_factor（float，可选，默认为 0.02）— 用于初始化所有权重矩阵的截断正态初始化器的标准差。
layerdrop（float，可选，默认为 0.0）— 解码器的 LayerDrop 概率。有关更多详细信息，请参阅 LayerDrop 论文)。
scale_embedding（bool，可选，默认为False）— 通过将其除以 sqrt(hidden_size)来缩放嵌入。
use_cache（bool，可选，默认为True）— 模型是否应返回最后的键/值注意力（并非所有模型都使用）。
num_codebooks（int，可选，默认为 4）— 转发到模型的并行码书的数量。
tie_word_embeddings(bool, 可选，默认为False）— 输入和输出词嵌入是否应该绑定。
audio_channels（int，可选，默认为 1）— 音频数据中的通道数。单声道为 1，立体声为 2。立体声模型为左/右输出通道生成单独的音频流。单声道模型生成单个音频流输出。

这是用于存储 MusicgenDecoder 配置的配置类。根据指定的参数实例化一个 MusicGen 解码器，定义模型架构。使用默认值实例化配置将产生类似于 MusicGen facebook/musicgen-small 架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档获取更多信息。

MusicgenConfig

`class transformers.MusicgenConfig`

< source >

( **kwargs )

参数

kwargs (optional) — 关键字参数的字典。特别是：

text_encoder (PretrainedConfig, optional) — 定义文本编码器配置的配置对象实例。
audio_encoder (PretrainedConfig, optional) — 定义音频编码器配置的配置对象实例。
decoder (PretrainedConfig, optional) — 定义解码器配置的配置对象实例。

这是用于存储 MusicgenModel 配置的配置类。根据指定的参数实例化一个 MusicGen 模型，定义文本编码器、音频编码器和 MusicGen 解码器配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档获取更多信息。

示例：

>>> from transformers import (
...     MusicgenConfig,
...     MusicgenDecoderConfig,
...     T5Config,
...     EncodecConfig,
...     MusicgenForConditionalGeneration,
... )
>>> # Initializing text encoder, audio encoder, and decoder model configurations
>>> text_encoder_config = T5Config()
>>> audio_encoder_config = EncodecConfig()
>>> decoder_config = MusicgenDecoderConfig()
>>> configuration = MusicgenConfig.from_sub_models_config(
...     text_encoder_config, audio_encoder_config, decoder_config
... )
>>> # Initializing a MusicgenForConditionalGeneration (with random weights) from the facebook/musicgen-small style configuration
>>> model = MusicgenForConditionalGeneration(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config
>>> config_text_encoder = model.config.text_encoder
>>> config_audio_encoder = model.config.audio_encoder
>>> config_decoder = model.config.decoder
>>> # Saving the model, including its configuration
>>> model.save_pretrained("musicgen-model")
>>> # loading model and config from pretrained folder
>>> musicgen_config = MusicgenConfig.from_pretrained("musicgen-model")
>>> model = MusicgenForConditionalGeneration.from_pretrained("musicgen-model", config=musicgen_config)

`from_sub_models_config`

< source >

( text_encoder_config: PretrainedConfig audio_encoder_config: PretrainedConfig decoder_config: MusicgenDecoderConfig **kwargs ) → export const metadata = 'undefined';MusicgenConfig

MusicgenConfig

配置对象实例

从文本编码器、音频编码器和解码器配置实例化一个 MusicgenConfig（或派生类）。

MusicgenProcessor

`class transformers.MusicgenProcessor`

< source >

( feature_extractor tokenizer )

参数

feature_extractor (EncodecFeatureExtractor) — 一个 EncodecFeatureExtractor 的实例。特征提取器是一个必需的输入。
tokenizer (T5Tokenizer) — 一个 T5Tokenizer 的实例。这是一个必需的输入。

构建一个 MusicGen 处理器，将 EnCodec 特征提取器和 T5 分词器封装成一个单一的处理器类。

MusicgenProcessor 提供了 EncodecFeatureExtractor 和 TTokenizer 的所有功能。查看 __call__() 和 decode() 获取更多信息。

`batch_decode`

<来源>

( *args **kwargs )

此方法用于解码来自 MusicGen 模型的音频输出批次或来自标记器的标记 id 批次。在解码标记 id 的情况下，此方法将其所有参数转发到 T5Tokenizer 的 batch_decode()。请参考此方法的文档字符串以获取更多信息。

`decode`

<来源>

( *args **kwargs )

此方法将其所有参数转发到 T5Tokenizer 的 decode()。请参考此方法的文档字符串以获取更多信息。

MusicgenModel

`class transformers.MusicgenModel`

<来源>

( config: MusicgenDecoderConfig )

参数

config（MusicgenConfig）— 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

裸的 Musicgen 解码器模型，输出没有特定头部的原始隐藏状态。

Musicgen 模型是由 Jade Copet、Felix Kreuk、Itai Gat、Tal Remez、David Kant、Gabriel Synnaeve、Yossi Adi、Alexandre Défossez 在Simple and Controllable Music Generation中提出的。它是一个在条件音乐生成任务上训练的编码器解码器变换器。

该模型继承自 PreTrainedModel。查看超类文档以了解库为所有模型实现的通用方法（如下载或保存、调整输入嵌入、修剪头等）。

该模型还是一个 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

`forward`

<来源>

( input_ids: LongTensor = None attention_mask: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None head_mask: Optional = None cross_attn_head_mask: Optional = None past_key_values: Optional = None inputs_embeds: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None )

参数

input_ids（形状为(batch_size * num_codebooks, sequence_length)的torch.LongTensor）— 词汇表中输入序列标记的索引，对应于音频代码序列。
通过使用音频编码器模型对音频提示进行编码以预测音频代码，可以获得索引，例如使用 EncodecModel。有关详细信息，请参阅 EncodecModel.encode()。
什么是输入 ID？
input_ids将在前向传递中自动从形状(batch_size * num_codebooks, target_sequence_length)转换为(batch_size, num_codebooks, target_sequence_length)。如果您从音频编码模型（如 EncodecModel）获取音频代码，请确保帧数等于 1，并且在将其作为input_ids传递之前，将音频代码从(frames, batch_size, num_codebooks, target_sequence_length)重塑为(batch_size * num_codebooks, target_sequence_length)。
attention_mask（形状为(batch_size, sequence_length)的torch.Tensor，可选）— 用于避免在填充标记索引上执行注意力的掩码。掩码值选在[0, 1]中：

对于未被masked的标记为 1，
对于被masked的标记为 0。

什么是注意力掩码？
encoder_hidden_states（形状为(batch_size, encoder_sequence_length, hidden_size)的torch.FloatTensor，可选）— 编码器最后一层的隐藏状态序列的输出。用于解码器的交叉注意力。
encoder_attention_mask（形状为(batch_size, encoder_sequence_length)的torch.LongTensor，可选）— 用于避免在编码器输入标记的填充标记索引上执行交叉注意力的掩码。掩码值选在[0, 1]中：

对于未被masked的标记为 1，
对于被masked的标记为 0。

什么是注意力掩码？
head_mask（形状为(decoder_layers, decoder_attention_heads)的torch.Tensor，可选）— 用于使注意力模块的选定头部失效的掩码。掩码值选在[0, 1]中：

1 表示头部未被masked，
0 表示头部被masked。

cross_attn_head_mask（形状为(decoder_layers, decoder_attention_heads)的torch.Tensor，可选）— 用于使解码器中交叉注意力模块的选定头部失效的掩码，以避免在隐藏头部上执行交叉注意力。掩码值选在[0, 1]中：

1 表示头部未被masked，
0 表示头部被masked。

past_key_values（tuple(tuple(torch.FloatTensor))，可选，当传递use_cache=True或config.use_cache=True时返回）— 长度为config.n_layers的tuple(torch.FloatTensor)的元组，每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)的张量和 2 个额外的形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)的张量。
包含预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码（参见past_key_values输入）。
如果使用了past_key_values，用户可以选择仅输入最后一个形状为(batch_size, 1)的decoder_input_ids（那些没有将它们的过去键值状态提供给此模型的）而不是形状为(batch_size, sequence_length)的所有decoder_input_ids。
inputs_embeds（形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可选）— 可选地，可以直接传递嵌入表示而不是传递input_ids。如果您想要更多控制如何将input_ids索引转换为相关向量，而不是模型的内部嵌入查找矩阵，则这很有用。
output_attentions（bool，可选）— 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的attentions。
output_hidden_states（bool，可选）— 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的hidden_states。
return_dict（bool，可选）— 是否返回一个 ModelOutput 而不是一个普通的元组。

MusicgenModel 的前向方法，覆盖了__call__特殊方法。

尽管前向传递的配方需要在此函数内定义，但应该在此之后调用Module实例，而不是这个，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。

MusicgenForCausalLM

`class transformers.MusicgenForCausalLM`

<来源>

( config: MusicgenDecoderConfig )

参数

config（MusicgenConfig）— 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

MusicGen 解码器模型在顶部带有语言建模头。

Musicgen 模型由 Jade Copet、Felix Kreuk、Itai Gat、Tal Remez、David Kant、Gabriel Synnaeve、Yossi Adi、Alexandre Défossez 在Simple and Controllable Music Generation中提出。这是一个在条件音乐生成任务上训练的编码器解码器变换器。

该模型继承自 PreTrainedModel。查看超类文档以了解库实现的通用方法，例如下载或保存，调整输入嵌入大小，修剪头等。

该模型也是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

`forward`

<来源>

( input_ids: LongTensor = None attention_mask: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None head_mask: Optional = None cross_attn_head_mask: Optional = None past_key_values: Optional = None inputs_embeds: Optional = None labels: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None )

参数

input_ids（形状为(batch_size * num_codebooks, sequence_length)的torch.LongTensor）— 词汇表中输入序列标记的索引，对应于音频代码序列。
可以通过使用音频编码器模型对音频提示进行编码来获取索引，以预测音频代码，例如使用 EncodecModel。查看 EncodecModel.encode()获取详细信息。
什么是输入 ID？
input_ids将在前向传递中自动从形状(batch_size * num_codebooks, target_sequence_length)转换为(batch_size, num_codebooks, target_sequence_length)。如果您从音频编码模型（例如 EncodecModel）获取音频代码，请确保帧数等于 1，并且在将音频代码从(frames, batch_size, num_codebooks, target_sequence_length)重塑为(batch_size * num_codebooks, target_sequence_length)之前，将其作为input_ids传递。
attention_mask（形状为(batch_size, sequence_length)的torch.Tensor，可选）— 用于避免在填充标记索引上执行注意力的掩码。掩码值选在[0, 1]中：

1 表示未被掩盖的标记，
0 表示被掩盖的标记。

什么是注意力掩码？
encoder_hidden_states（形状为(batch_size, encoder_sequence_length, hidden_size)的torch.FloatTensor，可选）— 编码器最后一层的隐藏状态序列。用于解码器的交叉注意力。
encoder_attention_mask（形状为(batch_size, encoder_sequence_length)的torch.LongTensor，可选）— 用于避免在编码器输入 ID 的填充标记索引上执行交叉注意力的掩码。掩码值选在[0, 1]中：

1 表示未被掩盖的标记，
0 表示被掩盖的标记。

什么是注意力掩码？
head_mask（形状为(decoder_layers, decoder_attention_heads)的torch.Tensor，可选）— 用于使注意力模块的选定头部无效的掩码。掩码值选在[0, 1]中：

1 表示头部未被掩盖，
0 表示头部被掩盖。

cross_attn_head_mask (torch.Tensor of shape (decoder_layers, decoder_attention_heads), optional) — 用于将解码器中交叉注意力模块的选定头部置零的掩码，以避免在隐藏头部上执行交叉注意力。掩码值在[0, 1]中选择：

1 表示头部未被masked。
0 表示头部被masked。

past_key_values (tuple(tuple(torch.FloatTensor)), optional, 当传递use_cache=True或config.use_cache=True时返回) — 长度为config.n_layers的元组，每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)的张量和 2 个额外的形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)的张量。
包含预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码（请参见past_key_values输入）。
如果使用了past_key_values，用户可以选择仅输入形状为(batch_size, 1)的最后decoder_input_ids（那些没有将它们的过去键值状态提供给此模型的）而不是形状为(batch_size, sequence_length)的所有decoder_input_ids。
inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 可选地，您可以直接传递嵌入表示，而不是传递input_ids。如果您想要更多控制如何将input_ids索引转换为相关向量，而不是使用模型的内部嵌入查找矩阵，则这很有用。
output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。
return_dict (bool, optional) — 是否返回一个 ModelOutput 而不是一个普通的元组。
labels (torch.LongTensor of shape (batch_size, sequence_length), optional) — 用于语言建模的标签。请注意，模型内部移动标签，即您可以设置labels = input_ids。索引在[-100, 0, ..., config.vocab_size]中选择。所有设置为-100的标签都被忽略（被masked），损失仅计算标签在[0, ..., config.vocab_size]中的标签。返回：transformers.modeling_outputs.Seq2SeqLMOutput 或tuple(torch.FloatTensor)：一个 transformers.modeling_outputs.Seq2SeqLMOutput 或一个torch.FloatTensor元组（如果传递了return_dict=False或config.return_dict=False，或者当config.return_dict=False时）包含根据配置（MusicgenConfig）和输入的各种元素。

loss (torch.FloatTensor of shape (1,), optional, 当提供labels时返回) — 语言建模损失。
logits (torch.FloatTensor of shape (batch_size, sequence_length, config.vocab_size)) — 语言建模头部的预测分数（SoftMax 之前每个词汇标记的分数）。
past_key_values (tuple(tuple(torch.FloatTensor)), optional, 当传递use_cache=True或config.use_cache=True时返回) — 长度为config.n_layers的元组，每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)的张量和 2 个额外的形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)的张量。
包含预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码（参见past_key_values输入）。
decoder_hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出，如果模型有嵌入层，+ 一个用于每个层的输出）。
解码器在每一层的输出隐藏状态以及初始嵌入输出。
decoder_attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每个层一个）。
解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
cross_attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每个层一个）。
解码器的交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均值。
encoder_last_hidden_state (torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，optional) — 模型编码器最后一层的隐藏状态序列输出。
encoder_hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出，如果模型有嵌入层，+ 一个用于每个层的输出）。
编码器在每一层的输出隐藏状态以及初始嵌入输出。
encoder_attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每个层一个）。
编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。

MusicgenForCausalLM 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的方法需要在此函数内定义，但应该在此之后调用Module实例，而不是这个，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。

MusicgenForConditionalGeneration

`class transformers.MusicgenForConditionalGeneration`

< source >

( config: Optional = None text_encoder: Optional = None audio_encoder: Optional = None decoder: Optional = None )

参数

config (MusicgenConfig) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

具有文本编码器、音频编码器和 Musicgen 解码器的复合 MusicGen 模型，用于具有文本和/或音频提示的音乐生成任务。

Musicgen 模型由 Jade Copet、Felix Kreuk、Itai Gat、Tal Remez、David Kant、Gabriel Synnaeve、Yossi Adi、Alexandre Défossez 在Simple and Controllable Music Generation中提出。它是一个在条件音乐生成任务上训练的编码器解码器 transformer。

该模型继承自 PreTrainedModel。请查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入、修剪头等）。

该模型还是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

`forward`

<来源>

( input_ids: Optional = None attention_mask: Optional = None input_values: Optional = None padding_mask: Optional = None decoder_input_ids: Optional = None decoder_attention_mask: Optional = None encoder_outputs: Optional = None past_key_values: Tuple = None inputs_embeds: Optional = None decoder_inputs_embeds: Optional = None labels: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None **kwargs ) → export const metadata = 'undefined';transformers.modeling_outputs.Seq2SeqLMOutput or tuple(torch.FloatTensor)

参数

input_ids（形状为(batch_size, sequence_length)的torch.LongTensor）— 词汇表中输入序列标记的索引。默认情况下将忽略填充。如果提供填充，则默认将忽略。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
什么是输入 ID？
attention_mask（形状为(batch_size, sequence_length)的torch.Tensor，可选）— 用于避免在填充标记索引上执行注意力的掩码。选择的掩码值为[0, 1]：

1 表示未被masked的标记。
0 表示被masked的标记。

什么是注意力掩码？
decoder_input_ids（形状为(batch_size * num_codebooks, target_sequence_length)的torch.LongTensor，可选）— 词汇表中解码器输入序列标记的索引，对应于音频代码序列。
可以通过使用音频编码器模型对音频提示进行编码以预测音频代码来获取索引，例如使用 EncodecModel。有关详细信息，请参阅 EncodecModel.encode()。
什么是解码器输入 ID？
decoder_input_ids将在前向传递中自动从形状(batch_size * num_codebooks, target_sequence_length)转换为(batch_size, num_codebooks, target_sequence_length)。如果您从音频编码模型（如 EncodecModel）获取音频代码，请确保帧数等于 1，并且在将音频代码从(frames, batch_size, num_codebooks, target_sequence_length)重塑为(batch_size * num_codebooks, target_sequence_length)之前，将其作为decoder_input_ids传递。
decoder_attention_mask（形状为(batch_size, target_sequence_length)的torch.LongTensor，可选）— 默认行为：生成一个忽略decoder_input_ids中填充标记的张量。因果掩码也将默认使用。
head_mask（形状为(encoder_layers, encoder_attention_heads)的torch.Tensor，可选）— 用于使编码器中注意力模块的选定头部失效的掩码。选择的掩码值为[0, 1]。

1 表示头部未被masked。
0 表示头部被masked。

decoder_head_mask（形状为(decoder_layers, decoder_attention_heads)的torch.Tensor，可选）— 用于使解码器中注意力模块的选定头部失效的掩码。选择的掩码值为[0, 1]。

1 表示头部未被masked。
0 表示头部被masked。

cross_attn_head_mask (torch.Tensor of shape (decoder_layers, decoder_attention_heads), optional) — 在解码器中将交叉注意力模块的选定头部置零的掩码。掩码值选定在[0, 1]中：

1 表示头部未被掩盖，
0 表示头部被掩盖。

encoder_outputs (tuple(tuple(torch.FloatTensor), optional) — 元组包括(last_hidden_state, optional: hidden_states, optional: attentions) last_hidden_state的形状为(batch_size, sequence_length, hidden_size)，optional)是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。
past_key_values (tuple(tuple(torch.FloatTensor)), optional, 当传递use_cache=True或config.use_cache=True时返回) — 长度为config.n_layers的元组，每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)的张量和 2 个额外的形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)的张量。
包含可以用于加速顺序解码的预计算隐藏状态（自注意力块和交叉注意力块中的键和值）（请参见past_key_values输入）。
如果使用past_key_values，用户可以选择仅输入形状为(batch_size, 1)的最后一个decoder_input_ids（那些没有将其过去的键值状态提供给此模型的）而不是形状为(batch_size, sequence_length)的所有decoder_input_ids。
inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 可选地，您可以选择直接传递嵌入表示而不是传递input_ids。如果您想要更多控制如何将input_ids索引转换为相关向量，而不是模型的内部嵌入查找矩阵，则这很有用。
decoder_inputs_embeds (torch.FloatTensor of shape (batch_size, target_sequence_length, hidden_size), optional) — 可选地，您可以选择直接传递嵌入表示而不是传递decoder_input_ids。如果使用past_key_values，则可以选择仅输入最后一个decoder_inputs_embeds（参见past_key_values）。这很有用，如果您想要更多控制如何将decoder_input_ids索引转换为相关向量，而不是模型的内部嵌入查找矩阵。
如果decoder_input_ids和decoder_inputs_embeds都未设置，则decoder_inputs_embeds取inputs_embeds的值。
use_cache (bool, optional) — 如果设置为True，将返回past_key_values键值状态，可用于加速解码（参见past_key_values）。
output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量中的attentions。
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量中的hidden_states。
return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通元组。

transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.Seq2SeqLMOutput 或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False）包括根据配置（MusicgenConfig）和输入的各种元素。

loss (torch.FloatTensor of shape (1,), optional, 当提供labels时返回) — 语言建模损失。
logits（形状为(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor）- 语言建模头的预测分数（SoftMax 之前每个词汇标记的分数）。
past_key_values（tuple(tuple(torch.FloatTensor))，可选，当传递use_cache=True或config.use_cache=True时返回）- 长度为config.n_layers的元组，每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)的张量和 2 个额外的形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)的张量。
包含预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码（参见past_key_values输入）。
decoder_hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）- 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（如果模型有嵌入层，则为嵌入输出的一个和每层输出的一个）。
每层解码器的隐藏状态加上初始嵌入输出。
decoder_attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）- 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
cross_attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）- 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
解码器的交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均值。
encoder_last_hidden_state（形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可选）- 模型编码器最后一层的隐藏状态序列。
encoder_hidden_states（tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回）- 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（如果模型有嵌入层，则为嵌入输出的一个和每层输出的一个）。
每层编码器的隐藏状态加上初始嵌入输出。
encoder_attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）- 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。

MusicgenForConditionalGeneration 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的步骤需要在此函数内定义，但应该在此之后调用Module实例，而不是在此处调用，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoProcessor, MusicgenForConditionalGeneration
>>> import torch
>>> processor = AutoProcessor.from_pretrained("facebook/musicgen-small")
>>> model = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-small")
>>> inputs = processor(
...     text=["80s pop track with bassy drums and synth", "90s rock song with loud guitars and heavy drums"],
...     padding=True,
...     return_tensors="pt",
... )
>>> pad_token_id = model.generation_config.pad_token_id
>>> decoder_input_ids = (
...     torch.ones((inputs.input_ids.shape[0] * model.decoder.num_codebooks, 1), dtype=torch.long)
...     * pad_token_id
... )
>>> logits = model(**inputs, decoder_input_ids=decoder_input_ids).logits
>>> logits.shape  # (bsz * num_codebooks, tgt_len, vocab_size)
torch.Size([8, 1, 2048])

Transformers 4.37 中文文档（七十六）（3）https://developer.aliyun.com/article/1564178

Transformers 4.37 中文文档（七十六）（2）

模型结构

MusicgenDecoderConfig

`class transformers.MusicgenDecoderConfig`

MusicgenConfig

`class transformers.MusicgenConfig`

`from_sub_models_config`

MusicgenProcessor

`class transformers.MusicgenProcessor`

`batch_decode`

`decode`

MusicgenModel

`class transformers.MusicgenModel`

`forward`

MusicgenForCausalLM

`class transformers.MusicgenForCausalLM`

`forward`

MusicgenForConditionalGeneration

`class transformers.MusicgenForConditionalGeneration`

`forward`

热门文章

最新文章

相关课程

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

Transformers 4.37 中文文档（七十六）（2）

模型结构

MusicgenDecoderConfig

class transformers.MusicgenDecoderConfig

MusicgenConfig

class transformers.MusicgenConfig

from_sub_models_config

MusicgenProcessor

class transformers.MusicgenProcessor

batch_decode

decode

MusicgenModel

class transformers.MusicgenModel

forward

MusicgenForCausalLM

class transformers.MusicgenForCausalLM

forward

MusicgenForConditionalGeneration

class transformers.MusicgenForConditionalGeneration

forward

热门文章

最新文章

相关课程

相关电子书

`class transformers.MusicgenDecoderConfig`

`class transformers.MusicgenConfig`

`from_sub_models_config`

`class transformers.MusicgenProcessor`

`batch_decode`

`decode`

`class transformers.MusicgenModel`

`forward`

`class transformers.MusicgenForCausalLM`

`forward`

`class transformers.MusicgenForConditionalGeneration`

`forward`