Transformers 4.37 中文文档(七十六)(1)https://developer.aliyun.com/article/1564176
模型结构
MusicGen 模型可以分解为三个不同的阶段:
- 文本编码器:将文本输入映射到一系列隐藏状态表示。预训练的 MusicGen 模型使用来自 T5 或 Flan-T5 的冻结文本编码器
- MusicGen 解码器:一个语言模型(LM),根据编码器隐藏状态表示自回归生成音频标记(或代码)
- 音频编码器/解码器:用于将音频提示编码为提示标记,并通过解码器预测的音频标记恢复音频波形
因此,MusicGen 模型可以作为独立的解码器模型使用,对应于类 MusicgenForCausalLM,或作为包含文本编码器和音频编码器/解码器的复合模型使用,对应于类 MusicgenForConditionalGeneration。如果只需从预训练检查点加载解码器,则可以首先指定正确的配置,或通过复合模型的.decoder
属性访问:
>>> from transformers import AutoConfig, MusicgenForCausalLM, MusicgenForConditionalGeneration >>> # Option 1: get decoder config and pass to `.from_pretrained` >>> decoder_config = AutoConfig.from_pretrained("facebook/musicgen-small").decoder >>> decoder = MusicgenForCausalLM.from_pretrained("facebook/musicgen-small", **decoder_config) >>> # Option 2: load the entire composite model, but only return the decoder >>> decoder = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-small").decoder
由于文本编码器和音频编码器/解码器模型在训练期间被冻结,MusicGen 解码器 MusicgenForCausalLM 可以在编码器隐藏状态和音频代码的数据集上独立训练。对于推断,训练好的解码器可以与冻结的文本编码器和音频编码器/解码器结合,以恢复复合 MusicgenForConditionalGeneration 模型。
提示:
- MusicGen 是在 Encodec 的 32kHz 检查点上训练的。您应确保使用 Encodec 模型的兼容版本。
- 采样模式往往比贪婪模式提供更好的结果 - 您可以在调用
MusicgenForConditionalGeneration.generate()
时使用变量do_sample
切换采样。
MusicgenDecoderConfig
class transformers.MusicgenDecoderConfig
( vocab_size = 2048 max_position_embeddings = 2048 num_hidden_layers = 24 ffn_dim = 4096 num_attention_heads = 16 layerdrop = 0.0 use_cache = True activation_function = 'gelu' hidden_size = 1024 dropout = 0.1 attention_dropout = 0.0 activation_dropout = 0.0 initializer_factor = 0.02 scale_embedding = False num_codebooks = 4 audio_channels = 1 pad_token_id = 2048 bos_token_id = 2048 eos_token_id = None tie_word_embeddings = False **kwargs )
参数
vocab_size
(int
,可选,默认为 2048)— MusicgenDecoder 模型的词汇量。定义了在调用MusicgenDecoder
时传递的inputs_ids
可以表示的不同标记数量。hidden_size
(int
,可选,默认为 1024)— 层和池化层的维度。num_hidden_layers
(int
,可选,默认为 24)— 解码器层数。num_attention_heads
(int
,可选,默认为 16)— Transformer 块中每个注意力层的注意力头数。ffn_dim
(int
,可选,默认为 4096)— Transformer 块中“中间”(通常称为前馈)层的维度。activation_function
(str
或function
,可选,默认为"gelu"
)— 解码器和池化器中的非线性激活函数(函数或字符串)。如果是字符串,支持"gelu"
、"relu"
、"silu"
和"gelu_new"
。dropout
(float
,可选,默认为 0.1)— 嵌入、文本编码器和池化器中所有全连接层的 dropout 概率。attention_dropout
(float
,可选,默认为 0.0)— 注意力概率的 dropout 比率。activation_dropout
(float
,可选,默认为 0.0)— 全连接层内部激活的 dropout 比率。max_position_embeddings
(int
,可选,默认为 2048)— 该模型可能被使用的最大序列长度。通常情况下,将其设置为一个较大的值以防万一(例如 512、1024 或 2048)。initializer_factor
(float
,可选,默认为 0.02)— 用于初始化所有权重矩阵的截断正态初始化器的标准差。layerdrop
(float
,可选,默认为 0.0)— 解码器的 LayerDrop 概率。有关更多详细信息,请参阅 LayerDrop 论文)。scale_embedding
(bool
,可选,默认为False
)— 通过将其除以 sqrt(hidden_size)来缩放嵌入。use_cache
(bool
,可选,默认为True
)— 模型是否应返回最后的键/值注意力(并非所有模型都使用)。num_codebooks
(int
,可选,默认为 4)— 转发到模型的并行码书的数量。tie_word_embeddings(bool,
可选,默认为False
)— 输入和输出词嵌入是否应该绑定。audio_channels
(int
,可选,默认为 1)— 音频数据中的通道数。单声道为 1,立体声为 2。立体声模型为左/右输出通道生成单独的音频流。单声道模型生成单个音频流输出。
这是用于存储 MusicgenDecoder
配置的配置类。根据指定的参数实例化一个 MusicGen 解码器,定义模型架构。使用默认值实例化配置将产生类似于 MusicGen facebook/musicgen-small 架构的配置。
配置对象继承自 PretrainedConfig,可用于控制模型输出。阅读 PretrainedConfig 的文档获取更多信息。
MusicgenConfig
class transformers.MusicgenConfig
( **kwargs )
参数
kwargs
(optional) — 关键字参数的字典。特别是:
text_encoder
(PretrainedConfig, optional) — 定义文本编码器配置的配置对象实例。audio_encoder
(PretrainedConfig, optional) — 定义音频编码器配置的配置对象实例。decoder
(PretrainedConfig, optional) — 定义解码器配置的配置对象实例。
这是用于存储 MusicgenModel 配置的配置类。根据指定的参数实例化一个 MusicGen 模型,定义文本编码器、音频编码器和 MusicGen 解码器配置。
配置对象继承自 PretrainedConfig,可用于控制模型输出。阅读 PretrainedConfig 的文档获取更多信息。
示例:
>>> from transformers import ( ... MusicgenConfig, ... MusicgenDecoderConfig, ... T5Config, ... EncodecConfig, ... MusicgenForConditionalGeneration, ... ) >>> # Initializing text encoder, audio encoder, and decoder model configurations >>> text_encoder_config = T5Config() >>> audio_encoder_config = EncodecConfig() >>> decoder_config = MusicgenDecoderConfig() >>> configuration = MusicgenConfig.from_sub_models_config( ... text_encoder_config, audio_encoder_config, decoder_config ... ) >>> # Initializing a MusicgenForConditionalGeneration (with random weights) from the facebook/musicgen-small style configuration >>> model = MusicgenForConditionalGeneration(configuration) >>> # Accessing the model configuration >>> configuration = model.config >>> config_text_encoder = model.config.text_encoder >>> config_audio_encoder = model.config.audio_encoder >>> config_decoder = model.config.decoder >>> # Saving the model, including its configuration >>> model.save_pretrained("musicgen-model") >>> # loading model and config from pretrained folder >>> musicgen_config = MusicgenConfig.from_pretrained("musicgen-model") >>> model = MusicgenForConditionalGeneration.from_pretrained("musicgen-model", config=musicgen_config)
from_sub_models_config
( text_encoder_config: PretrainedConfig audio_encoder_config: PretrainedConfig decoder_config: MusicgenDecoderConfig **kwargs ) → export const metadata = 'undefined';MusicgenConfig
返回
MusicgenConfig
配置对象实例
从文本编码器、音频编码器和解码器配置实例化一个 MusicgenConfig(或派生类)。
MusicgenProcessor
class transformers.MusicgenProcessor
( feature_extractor tokenizer )
参数
feature_extractor
(EncodecFeatureExtractor
) — 一个 EncodecFeatureExtractor 的实例。特征提取器是一个必需的输入。tokenizer
(T5Tokenizer
) — 一个 T5Tokenizer 的实例。这是一个必需的输入。
构建一个 MusicGen 处理器,将 EnCodec 特征提取器和 T5 分词器封装成一个单一的处理器类。
MusicgenProcessor 提供了 EncodecFeatureExtractor 和 TTokenizer
的所有功能。查看 __call__()
和 decode() 获取更多信息。
batch_decode
( *args **kwargs )
此方法用于解码来自 MusicGen 模型的音频输出批次或来自标记器的标记 id 批次。在解码标记 id 的情况下,此方法将其所有参数转发到 T5Tokenizer 的 batch_decode()。请参考此方法的文档字符串以获取更多信息。
decode
( *args **kwargs )
此方法将其所有参数转发到 T5Tokenizer 的 decode()。请参考此方法的文档字符串以获取更多信息。
MusicgenModel
class transformers.MusicgenModel
( config: MusicgenDecoderConfig )
参数
config
(MusicgenConfig)— 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重,只加载配置。查看 from_pretrained()方法以加载模型权重。
裸的 Musicgen 解码器模型,输出没有特定头部的原始隐藏状态。
Musicgen 模型是由 Jade Copet、Felix Kreuk、Itai Gat、Tal Remez、David Kant、Gabriel Synnaeve、Yossi Adi、Alexandre Défossez 在Simple and Controllable Music Generation中提出的。它是一个在条件音乐生成任务上训练的编码器解码器变换器。
该模型继承自 PreTrainedModel。查看超类文档以了解库为所有模型实现的通用方法(如下载或保存、调整输入嵌入、修剪头等)。
该模型还是一个 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块,并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。
forward
( input_ids: LongTensor = None attention_mask: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None head_mask: Optional = None cross_attn_head_mask: Optional = None past_key_values: Optional = None inputs_embeds: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None )
参数
input_ids
(形状为(batch_size * num_codebooks, sequence_length)
的torch.LongTensor
)— 词汇表中输入序列标记的索引,对应于音频代码序列。
通过使用音频编码器模型对音频提示进行编码以预测音频代码,可以获得索引,例如使用 EncodecModel。有关详细信息,请参阅 EncodecModel.encode()。
什么是输入 ID?input_ids
将在前向传递中自动从形状(batch_size * num_codebooks, target_sequence_length)
转换为(batch_size, num_codebooks, target_sequence_length)
。如果您从音频编码模型(如 EncodecModel)获取音频代码,请确保帧数等于 1,并且在将其作为input_ids
传递之前,将音频代码从(frames, batch_size, num_codebooks, target_sequence_length)
重塑为(batch_size * num_codebooks, target_sequence_length)
。attention_mask
(形状为(batch_size, sequence_length)
的torch.Tensor
,可选)— 用于避免在填充标记索引上执行注意力的掩码。掩码值选在[0, 1]
中:
- 对于未被
masked
的标记为 1, - 对于被
masked
的标记为 0。
- 什么是注意力掩码?
encoder_hidden_states
(形状为(batch_size, encoder_sequence_length, hidden_size)
的torch.FloatTensor
,可选)— 编码器最后一层的隐藏状态序列的输出。用于解码器的交叉注意力。encoder_attention_mask
(形状为(batch_size, encoder_sequence_length)
的torch.LongTensor
,可选)— 用于避免在编码器输入标记的填充标记索引上执行交叉注意力的掩码。掩码值选在[0, 1]
中:
- 对于未被
masked
的标记为 1, - 对于被
masked
的标记为 0。
- 什么是注意力掩码?
head_mask
(形状为(decoder_layers, decoder_attention_heads)
的torch.Tensor
,可选)— 用于使注意力模块的选定头部失效的掩码。掩码值选在[0, 1]
中:
- 1 表示头部未被
masked
, - 0 表示头部被
masked
。
cross_attn_head_mask
(形状为(decoder_layers, decoder_attention_heads)
的torch.Tensor
,可选)— 用于使解码器中交叉注意力模块的选定头部失效的掩码,以避免在隐藏头部上执行交叉注意力。掩码值选在[0, 1]
中:
- 1 表示头部未被
masked
, - 0 表示头部被
masked
。
past_key_values
(tuple(tuple(torch.FloatTensor))
,可选,当传递use_cache=True
或config.use_cache=True
时返回)— 长度为config.n_layers
的tuple(torch.FloatTensor)
的元组,每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)
的张量和 2 个额外的形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)
的张量。
包含预先计算的隐藏状态(自注意力块和交叉注意力块中的键和值),可用于加速顺序解码(参见past_key_values
输入)。
如果使用了past_key_values
,用户可以选择仅输入最后一个形状为(batch_size, 1)
的decoder_input_ids
(那些没有将它们的过去键值状态提供给此模型的)而不是形状为(batch_size, sequence_length)
的所有decoder_input_ids
。inputs_embeds
(形状为(batch_size, sequence_length, hidden_size)
的torch.FloatTensor
,可选)— 可选地,可以直接传递嵌入表示而不是传递input_ids
。如果您想要更多控制如何将input_ids
索引转换为相关向量,而不是模型的内部嵌入查找矩阵,则这很有用。output_attentions
(bool
,可选)— 是否返回所有注意力层的注意力张量。有关更多详细信息,请参见返回张量下的attentions
。output_hidden_states
(bool
,可选)— 是否返回所有层的隐藏状态。有关更多详细信息,请参见返回张量下的hidden_states
。return_dict
(bool
,可选)— 是否返回一个 ModelOutput 而不是一个普通的元组。
MusicgenModel 的前向方法,覆盖了__call__
特殊方法。
尽管前向传递的配方需要在此函数内定义,但应该在此之后调用Module
实例,而不是这个,因为前者负责运行预处理和后处理步骤,而后者则默默地忽略它们。
MusicgenForCausalLM
class transformers.MusicgenForCausalLM
( config: MusicgenDecoderConfig )
参数
config
(MusicgenConfig)— 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重,只加载配置。查看 from_pretrained()方法以加载模型权重。
MusicGen 解码器模型在顶部带有语言建模头。
Musicgen 模型由 Jade Copet、Felix Kreuk、Itai Gat、Tal Remez、David Kant、Gabriel Synnaeve、Yossi Adi、Alexandre Défossez 在Simple and Controllable Music Generation中提出。这是一个在条件音乐生成任务上训练的编码器解码器变换器。
该模型继承自 PreTrainedModel。查看超类文档以了解库实现的通用方法,例如下载或保存,调整输入嵌入大小,修剪头等。
该模型也是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块,并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。
forward
( input_ids: LongTensor = None attention_mask: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None head_mask: Optional = None cross_attn_head_mask: Optional = None past_key_values: Optional = None inputs_embeds: Optional = None labels: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None )
参数
input_ids
(形状为(batch_size * num_codebooks, sequence_length)
的torch.LongTensor
)— 词汇表中输入序列标记的索引,对应于音频代码序列。
可以通过使用音频编码器模型对音频提示进行编码来获取索引,以预测音频代码,例如使用 EncodecModel。查看 EncodecModel.encode()获取详细信息。
什么是输入 ID?input_ids
将在前向传递中自动从形状(batch_size * num_codebooks, target_sequence_length)
转换为(batch_size, num_codebooks, target_sequence_length)
。如果您从音频编码模型(例如 EncodecModel)获取音频代码,请确保帧数等于 1,并且在将音频代码从(frames, batch_size, num_codebooks, target_sequence_length)
重塑为(batch_size * num_codebooks, target_sequence_length)
之前,将其作为input_ids
传递。attention_mask
(形状为(batch_size, sequence_length)
的torch.Tensor
,可选)— 用于避免在填充标记索引上执行注意力的掩码。掩码值选在[0, 1]
中:
- 1 表示
未被掩盖
的标记, - 0 表示
被掩盖
的标记。
- 什么是注意力掩码?
encoder_hidden_states
(形状为(batch_size, encoder_sequence_length, hidden_size)
的torch.FloatTensor
,可选)— 编码器最后一层的隐藏状态序列。用于解码器的交叉注意力。encoder_attention_mask
(形状为(batch_size, encoder_sequence_length)
的torch.LongTensor
,可选)— 用于避免在编码器输入 ID 的填充标记索引上执行交叉注意力的掩码。掩码值选在[0, 1]
中:
- 1 表示
未被掩盖
的标记, - 0 表示
被掩盖
的标记。
- 什么是注意力掩码?
head_mask
(形状为(decoder_layers, decoder_attention_heads)
的torch.Tensor
,可选)— 用于使注意力模块的选定头部无效的掩码。掩码值选在[0, 1]
中:
- 1 表示头部
未被掩盖
, - 0 表示头部被
掩盖
。
cross_attn_head_mask
(torch.Tensor
of shape(decoder_layers, decoder_attention_heads)
, optional) — 用于将解码器中交叉注意力模块的选定头部置零的掩码,以避免在隐藏头部上执行交叉注意力。掩码值在[0, 1]
中选择:
- 1 表示头部未被
masked
。 - 0 表示头部被
masked
。
past_key_values
(tuple(tuple(torch.FloatTensor))
, optional, 当传递use_cache=True
或config.use_cache=True
时返回) — 长度为config.n_layers
的元组,每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)
的张量和 2 个额外的形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)
的张量。
包含预先计算的隐藏状态(自注意力块和交叉注意力块中的键和值),可用于加速顺序解码(请参见past_key_values
输入)。
如果使用了past_key_values
,用户可以选择仅输入形状为(batch_size, 1)
的最后decoder_input_ids
(那些没有将它们的过去键值状态提供给此模型的)而不是形状为(batch_size, sequence_length)
的所有decoder_input_ids
。inputs_embeds
(torch.FloatTensor
of shape(batch_size, sequence_length, hidden_size)
, optional) — 可选地,您可以直接传递嵌入表示,而不是传递input_ids
。如果您想要更多控制如何将input_ids
索引转换为相关向量,而不是使用模型的内部嵌入查找矩阵,则这很有用。output_attentions
(bool
, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参阅返回张量下的attentions
。output_hidden_states
(bool
, optional) — 是否返回所有层的隐藏状态。有关更多详细信息,请参阅返回张量下的hidden_states
。return_dict
(bool
, optional) — 是否返回一个 ModelOutput 而不是一个普通的元组。labels
(torch.LongTensor
of shape(batch_size, sequence_length)
, optional) — 用于语言建模的标签。请注意,模型内部移动标签,即您可以设置labels = input_ids
。索引在[-100, 0, ..., config.vocab_size]
中选择。所有设置为-100
的标签都被忽略(被masked
),损失仅计算标签在[0, ..., config.vocab_size]
中的标签。返回:transformers.modeling_outputs.Seq2SeqLMOutput 或tuple(torch.FloatTensor)
:一个 transformers.modeling_outputs.Seq2SeqLMOutput 或一个torch.FloatTensor
元组(如果传递了return_dict=False
或config.return_dict=False
,或者当config.return_dict=False
时)包含根据配置(MusicgenConfig)和输入的各种元素。
loss
(torch.FloatTensor
of shape(1,)
, optional, 当提供labels
时返回) — 语言建模损失。logits
(torch.FloatTensor
of shape(batch_size, sequence_length, config.vocab_size)
) — 语言建模头部的预测分数(SoftMax 之前每个词汇标记的分数)。past_key_values
(tuple(tuple(torch.FloatTensor))
, optional, 当传递use_cache=True
或config.use_cache=True
时返回) — 长度为config.n_layers
的元组,每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)
的张量和 2 个额外的形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)
的张量。
包含预先计算的隐藏状态(自注意力块和交叉注意力块中的键和值),可用于加速顺序解码(参见past_key_values
输入)。decoder_hidden_states
(tuple(torch.FloatTensor)
, optional, 当传递output_hidden_states=True
或config.output_hidden_states=True
时返回) — 形状为(batch_size, sequence_length, hidden_size)
的torch.FloatTensor
元组(一个用于嵌入的输出,如果模型有嵌入层,+ 一个用于每个层的输出)。
解码器在每一层的输出隐藏状态以及初始嵌入输出。decoder_attentions
(tuple(torch.FloatTensor)
, optional, 当传递output_attentions=True
或config.output_attentions=True
时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)
的torch.FloatTensor
元组(每个层一个)。
解码器的注意力权重,在注意力 softmax 之后,用于计算自注意力头中的加权平均值。cross_attentions
(tuple(torch.FloatTensor)
, optional, 当传递output_attentions=True
或config.output_attentions=True
时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)
的torch.FloatTensor
元组(每个层一个)。
解码器的交叉注意力层的注意力权重,在注意力 softmax 之后,用于计算交叉注意力头中的加权平均值。encoder_last_hidden_state
(torch.FloatTensor
,形状为(batch_size, sequence_length, hidden_size)
,optional) — 模型编码器最后一层的隐藏状态序列输出。encoder_hidden_states
(tuple(torch.FloatTensor)
, optional, 当传递output_hidden_states=True
或config.output_hidden_states=True
时返回) — 形状为(batch_size, sequence_length, hidden_size)
的torch.FloatTensor
元组(一个用于嵌入的输出,如果模型有嵌入层,+ 一个用于每个层的输出)。
编码器在每一层的输出隐藏状态以及初始嵌入输出。encoder_attentions
(tuple(torch.FloatTensor)
, optional, 当传递output_attentions=True
或config.output_attentions=True
时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)
的torch.FloatTensor
元组(每个层一个)。
编码器的注意力权重,在注意力 softmax 之后,用于计算自注意力头中的加权平均值。
MusicgenForCausalLM 的前向方法,覆盖了__call__
特殊方法。
虽然前向传递的方法需要在此函数内定义,但应该在此之后调用Module
实例,而不是这个,因为前者会处理运行前后处理步骤,而后者会默默地忽略它们。
MusicgenForConditionalGeneration
class transformers.MusicgenForConditionalGeneration
( config: Optional = None text_encoder: Optional = None audio_encoder: Optional = None decoder: Optional = None )
参数
config
(MusicgenConfig) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重,只加载配置。查看 from_pretrained()方法以加载模型权重。
具有文本编码器、音频编码器和 Musicgen 解码器的复合 MusicGen 模型,用于具有文本和/或音频提示的音乐生成任务。
Musicgen 模型由 Jade Copet、Felix Kreuk、Itai Gat、Tal Remez、David Kant、Gabriel Synnaeve、Yossi Adi、Alexandre Défossez 在Simple and Controllable Music Generation中提出。它是一个在条件音乐生成任务上训练的编码器解码器 transformer。
该模型继承自 PreTrainedModel。请查看超类文档,了解库为其所有模型实现的通用方法(例如下载或保存、调整输入嵌入、修剪头等)。
该模型还是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块,并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。
forward
( input_ids: Optional = None attention_mask: Optional = None input_values: Optional = None padding_mask: Optional = None decoder_input_ids: Optional = None decoder_attention_mask: Optional = None encoder_outputs: Optional = None past_key_values: Tuple = None inputs_embeds: Optional = None decoder_inputs_embeds: Optional = None labels: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None **kwargs ) → export const metadata = 'undefined';transformers.modeling_outputs.Seq2SeqLMOutput or tuple(torch.FloatTensor)
参数
input_ids
(形状为(batch_size, sequence_length)
的torch.LongTensor
)— 词汇表中输入序列标记的索引。默认情况下将忽略填充。如果提供填充,则默认将忽略。
可以使用 AutoTokenizer 获取索引。有关详细信息,请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call
()。
什么是输入 ID?attention_mask
(形状为(batch_size, sequence_length)
的torch.Tensor
,可选)— 用于避免在填充标记索引上执行注意力的掩码。选择的掩码值为[0, 1]
:
- 1 表示未被
masked
的标记。 - 0 表示被
masked
的标记。
- 什么是注意力掩码?
decoder_input_ids
(形状为(batch_size * num_codebooks, target_sequence_length)
的torch.LongTensor
,可选)— 词汇表中解码器输入序列标记的索引,对应于音频代码序列。
可以通过使用音频编码器模型对音频提示进行编码以预测音频代码来获取索引,例如使用 EncodecModel。有关详细信息,请参阅 EncodecModel.encode()。
什么是解码器输入 ID?decoder_input_ids
将在前向传递中自动从形状(batch_size * num_codebooks, target_sequence_length)
转换为(batch_size, num_codebooks, target_sequence_length)
。如果您从音频编码模型(如 EncodecModel)获取音频代码,请确保帧数等于 1,并且在将音频代码从(frames, batch_size, num_codebooks, target_sequence_length)
重塑为(batch_size * num_codebooks, target_sequence_length)
之前,将其作为decoder_input_ids
传递。decoder_attention_mask
(形状为(batch_size, target_sequence_length)
的torch.LongTensor
,可选)— 默认行为:生成一个忽略decoder_input_ids
中填充标记的张量。因果掩码也将默认使用。head_mask
(形状为(encoder_layers, encoder_attention_heads)
的torch.Tensor
,可选)— 用于使编码器中注意力模块的选定头部失效的掩码。选择的掩码值为[0, 1]
。
- 1 表示头部未被
masked
。 - 0 表示头部被
masked
。
decoder_head_mask
(形状为(decoder_layers, decoder_attention_heads)
的torch.Tensor
,可选)— 用于使解码器中注意力模块的选定头部失效的掩码。选择的掩码值为[0, 1]
。
- 1 表示头部未被
masked
。 - 0 表示头部被
masked
。
cross_attn_head_mask
(torch.Tensor
of shape(decoder_layers, decoder_attention_heads)
, optional) — 在解码器中将交叉注意力模块的选定头部置零的掩码。掩码值选定在[0, 1]
中:
- 1 表示头部未被掩盖,
- 0 表示头部被掩盖。
encoder_outputs
(tuple(tuple(torch.FloatTensor)
, optional) — 元组包括(last_hidden_state
, optional:hidden_states
, optional:attentions
)last_hidden_state
的形状为(batch_size, sequence_length, hidden_size)
,optional)是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。past_key_values
(tuple(tuple(torch.FloatTensor))
, optional, 当传递use_cache=True
或config.use_cache=True
时返回) — 长度为config.n_layers
的元组,每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)
的张量和 2 个额外的形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)
的张量。
包含可以用于加速顺序解码的预计算隐藏状态(自注意力块和交叉注意力块中的键和值)(请参见past_key_values
输入)。
如果使用past_key_values
,用户可以选择仅输入形状为(batch_size, 1)
的最后一个decoder_input_ids
(那些没有将其过去的键值状态提供给此模型的)而不是形状为(batch_size, sequence_length)
的所有decoder_input_ids
。inputs_embeds
(torch.FloatTensor
of shape(batch_size, sequence_length, hidden_size)
, optional) — 可选地,您可以选择直接传递嵌入表示而不是传递input_ids
。如果您想要更多控制如何将input_ids
索引转换为相关向量,而不是模型的内部嵌入查找矩阵,则这很有用。decoder_inputs_embeds
(torch.FloatTensor
of shape(batch_size, target_sequence_length, hidden_size)
, optional) — 可选地,您可以选择直接传递嵌入表示而不是传递decoder_input_ids
。如果使用past_key_values
,则可以选择仅输入最后一个decoder_inputs_embeds
(参见past_key_values
)。这很有用,如果您想要更多控制如何将decoder_input_ids
索引转换为相关向量,而不是模型的内部嵌入查找矩阵。
如果decoder_input_ids
和decoder_inputs_embeds
都未设置,则decoder_inputs_embeds
取inputs_embeds
的值。use_cache
(bool
, optional) — 如果设置为True
,将返回past_key_values
键值状态,可用于加速解码(参见past_key_values
)。output_attentions
(bool
, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参见返回张量中的attentions
。output_hidden_states
(bool
, optional) — 是否返回所有层的隐藏状态。有关更多详细信息,请参见返回张量中的hidden_states
。return_dict
(bool
, optional) — 是否返回 ModelOutput 而不是普通元组。
返回
transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.Seq2SeqLMOutput 或一个torch.FloatTensor
元组(如果传递return_dict=False
或config.return_dict=False
)包括根据配置(MusicgenConfig)和输入的各种元素。
loss
(torch.FloatTensor
of shape(1,)
, optional, 当提供labels
时返回) — 语言建模损失。logits
(形状为(batch_size, sequence_length, config.vocab_size)
的torch.FloatTensor
)- 语言建模头的预测分数(SoftMax 之前每个词汇标记的分数)。past_key_values
(tuple(tuple(torch.FloatTensor))
,可选,当传递use_cache=True
或config.use_cache=True
时返回)- 长度为config.n_layers
的元组,每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)
的张量和 2 个额外的形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)
的张量。
包含预先计算的隐藏状态(自注意力块和交叉注意力块中的键和值),可用于加速顺序解码(参见past_key_values
输入)。decoder_hidden_states
(tuple(torch.FloatTensor)
,可选,当传递output_hidden_states=True
或config.output_hidden_states=True
时返回)- 形状为(batch_size, sequence_length, hidden_size)
的torch.FloatTensor
元组(如果模型有嵌入层,则为嵌入输出的一个和每层输出的一个)。
每层解码器的隐藏状态加上初始嵌入输出。decoder_attentions
(tuple(torch.FloatTensor)
,可选,当传递output_attentions=True
或config.output_attentions=True
时返回)- 形状为(batch_size, num_heads, sequence_length, sequence_length)
的torch.FloatTensor
元组(每层一个)。
解码器的注意力权重,在注意力 softmax 之后,用于计算自注意力头中的加权平均值。cross_attentions
(tuple(torch.FloatTensor)
,可选,当传递output_attentions=True
或config.output_attentions=True
时返回)- 形状为(batch_size, num_heads, sequence_length, sequence_length)
的torch.FloatTensor
元组(每层一个)。
解码器的交叉注意力层的注意力权重,在注意力 softmax 之后,用于计算交叉注意力头中的加权平均值。encoder_last_hidden_state
(形状为(batch_size, sequence_length, hidden_size)
的torch.FloatTensor
,可选)- 模型编码器最后一层的隐藏状态序列。encoder_hidden_states
(tuple(torch.FloatTensor)
,可选,当传递output_hidden_states=True
或config.output_hidden_states=True
时返回)- 形状为(batch_size, sequence_length, hidden_size)
的torch.FloatTensor
元组(如果模型有嵌入层,则为嵌入输出的一个和每层输出的一个)。
每层编码器的隐藏状态加上初始嵌入输出。encoder_attentions
(tuple(torch.FloatTensor)
,可选,当传递output_attentions=True
或config.output_attentions=True
时返回)- 形状为(batch_size, num_heads, sequence_length, sequence_length)
的torch.FloatTensor
元组(每层一个)。
编码器的注意力权重,在注意力 softmax 之后,用于计算自注意力头中的加权平均值。
MusicgenForConditionalGeneration 的前向方法,覆盖了__call__
特殊方法。
虽然前向传递的步骤需要在此函数内定义,但应该在此之后调用Module
实例,而不是在此处调用,因为前者负责运行预处理和后处理步骤,而后者会默默地忽略它们。
示例:
>>> from transformers import AutoProcessor, MusicgenForConditionalGeneration >>> import torch >>> processor = AutoProcessor.from_pretrained("facebook/musicgen-small") >>> model = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-small") >>> inputs = processor( ... text=["80s pop track with bassy drums and synth", "90s rock song with loud guitars and heavy drums"], ... padding=True, ... return_tensors="pt", ... ) >>> pad_token_id = model.generation_config.pad_token_id >>> decoder_input_ids = ( ... torch.ones((inputs.input_ids.shape[0] * model.decoder.num_codebooks, 1), dtype=torch.long) ... * pad_token_id ... ) >>> logits = model(**inputs, decoder_input_ids=decoder_input_ids).logits >>> logits.shape # (bsz * num_codebooks, tgt_len, vocab_size) torch.Size([8, 1, 2048])
Transformers 4.37 中文文档(七十六)(3)https://developer.aliyun.com/article/1564178