MBart 和 MBart-50
原文链接：
huggingface.co/docs/transformers/v4.37.2/en/model_doc/mbart
MBart 概述
MBart 模型是由 Yinhan Liu、Jiatao Gu、Naman Goyal、Xian Li、Sergey Edunov、Marjan Ghazvininejad、Mike Lewis、Luke Zettlemoyer 在多语言去噪预训练神经机器翻译中提出的。
根据摘要，MBART 是一个在许多语言上使用 BART 目标在大规模单语语料库上预训练的序列到序列去噪自动编码器。mBART 是第一个通过去噪多语言全文来预训练完整序列到序列模型的方法，而以前的方法只关注编码器、解码器或文本的部分重建。
MBart 的训练
MBart 是一个多语言编码器-解码器（序列到序列）模型，主要用于翻译任务。由于该模型是多语言的，它期望序列以不同的格式呈现。在源文本和目标文本中都添加了一个特殊的语言 id 标记。源文本格式为X [eos, src_lang_code]，其中X是源文本。目标文本格式为[tgt_lang_code] X [eos]。bos从未被使用。
常规的call()将对作为第一个参数传递的源文本格式进行编码，或者使用text关键字，以及使用text_label关键字参数传递的目标文本格式。
- 监督训练
>>> from transformers import MBartForConditionalGeneration, MBartTokenizer >>> tokenizer = MBartTokenizer.from_pretrained("facebook/mbart-large-en-ro", src_lang="en_XX", tgt_lang="ro_RO") >>> example_english_phrase = "UN Chief Says There Is No Military Solution in Syria" >>> expected_translation_romanian = "Şeful ONU declară că nu există o soluţie militară în Siria" >>> inputs = tokenizer(example_english_phrase, text_target=expected_translation_romanian, return_tensors="pt") >>> model = MBartForConditionalGeneration.from_pretrained("facebook/mbart-large-en-ro") >>> # forward pass >>> model(**inputs)
- 生成
在生成目标文本时，将decoder_start_token_id设置为目标语言 id。以下示例展示了如何使用facebook/mbart-large-en-ro模型将英语翻译成罗马尼亚语。
>>> from transformers import MBartForConditionalGeneration, MBartTokenizer >>> tokenizer = MBartTokenizer.from_pretrained("facebook/mbart-large-en-ro", src_lang="en_XX") >>> article = "UN Chief Says There Is No Military Solution in Syria" >>> inputs = tokenizer(article, return_tensors="pt") >>> translated_tokens = model.generate(**inputs, decoder_start_token_id=tokenizer.lang_code_to_id["ro_RO"]) >>> tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0] "Şeful ONU declară că nu există o soluţie militară în Siria"
MBart-50 概述
MBart-50 是由 Yuqing Tang、Chau Tran、Xian Li、Peng-Jen Chen、Naman Goyal、Vishrav Chaudhary、Jiatao Gu、Angela Fan 在具有可扩展多语言预训练和微调的多语言翻译论文中介绍的。MBart-50 是使用原始mbart-large-cc25检查点创建的，通过扩展其嵌入层，使用额外的 25 个语言标记的随机初始化向量，然后在 50 种语言上进行预训练。
根据摘要
多语言翻译模型可以通过多语言微调来创建。与在一个方向上进行微调不同，预训练模型同时在许多方向上进行微调。它表明预训练模型可以扩展以包含额外的语言而不会损失性能。多语言微调平均提高了 1 个 BLEU 分数，超过了最强基线（无论是从头开始的多语言模型还是双语微调），同时比从头开始的双语基线平均提高了 9.3 个 BLEU 分数。
MBart-50 的训练
MBart-50 的文本格式与 mBART 略有不同。对于 MBart-50，语言 id 标记被用作源文本和目标文本的前缀，即文本格式为[lang_code] X [eos]，其中lang_code是源文本的源语言 id，目标文本的目标语言 id，X分别是源文本或目标文本。
MBart-50 有自己的分词器 MBart50Tokenizer。
- 监督训练
from transformers import MBartForConditionalGeneration, MBart50TokenizerFast model = MBartForConditionalGeneration.from_pretrained("facebook/mbart-large-50") tokenizer = MBart50TokenizerFast.from_pretrained("facebook/mbart-large-50", src_lang="en_XX", tgt_lang="ro_RO") src_text = " UN Chief Says There Is No Military Solution in Syria" tgt_text = "Şeful ONU declară că nu există o soluţie militară în Siria" model_inputs = tokenizer(src_text, text_target=tgt_text, return_tensors="pt") model(**model_inputs) # forward pass
- 生成
要使用 mBART-50 多语言翻译模型生成，eos_token_id被用作decoder_start_token_id，目标语言 id 被强制作为第一个生成的标记。要强制目标语言 id 作为第一个生成的标记，将forced_bos_token_id参数传递给generate方法。以下示例展示了如何使用facebook/mbart-50-large-many-to-many检查点在印地语到法语和阿拉伯语到英语之间进行翻译。
from transformers import MBartForConditionalGeneration, MBart50TokenizerFast article_hi = "संयुक्त राष्ट्र के प्रमुख का कहना है कि सीरिया में कोई सैन्य समाधान नहीं है" article_ar = "الأمين العام للأمم المتحدة يقول إنه لا يوجد حل عسكري في سوريا." model = MBartForConditionalGeneration.from_pretrained("facebook/mbart-large-50-many-to-many-mmt") tokenizer = MBart50TokenizerFast.from_pretrained("facebook/mbart-large-50-many-to-many-mmt") # translate Hindi to French tokenizer.src_lang = "hi_IN" encoded_hi = tokenizer(article_hi, return_tensors="pt") generated_tokens = model.generate(**encoded_hi, forced_bos_token_id=tokenizer.lang_code_to_id["fr_XX"]) tokenizer.batch_decode(generated_tokens, skip_special_tokens=True) # => "Le chef de l 'ONU affirme qu 'il n 'y a pas de solution militaire en Syria." # translate Arabic to English tokenizer.src_lang = "ar_AR" encoded_ar = tokenizer(article_ar, return_tensors="pt") generated_tokens = model.generate(**encoded_ar, forced_bos_token_id=tokenizer.lang_code_to_id["en_XX"]) tokenizer.batch_decode(generated_tokens, skip_special_tokens=True) # => "The Secretary-General of the United Nations says there is no military solution in Syria."
文档资源
- 文本分类任务指南
- 问答任务指南
- 因果语言建模任务指南
- 掩码语言建模任务指南
- 翻译任务指南
- 摘要任务指南
MBartConfig
class transformers.MBartConfig
( vocab_size = 50265 max_position_embeddings = 1024 encoder_layers = 12 encoder_ffn_dim = 4096 encoder_attention_heads = 16 decoder_layers = 12 decoder_ffn_dim = 4096 decoder_attention_heads = 16 encoder_layerdrop = 0.0 decoder_layerdrop = 0.0 use_cache = True is_encoder_decoder = True activation_function = 'gelu' d_model = 1024 dropout = 0.1 attention_dropout = 0.0 activation_dropout = 0.0 init_std = 0.02 classifier_dropout = 0.0 scale_embedding = False pad_token_id = 1 bos_token_id = 0 eos_token_id = 2 forced_eos_token_id = 2 **kwargs )
参数
vocab_size(int, 可选, 默认为 50265) — MBART 模型的词汇量。定义了在调用 MBartModel 或 TFMBartModel 时可以表示的不同标记数量。d_model(int, 可选, 默认为 1024) — 层和池化层的维度。encoder_layers(int, 可选, 默认为 12) — 编码器层数。decoder_layers(int, 可选, 默认为 12) — 解码器层数。encoder_attention_heads(int, 可选, 默认为 16) — Transformer 编码器中每个注意力层的注意力头数。decoder_attention_heads(int, 可选, 默认为 16) — Transformer 解码器中每个注意力层的注意力头数。decoder_ffn_dim(int, 可选, 默认为 4096) — 解码器中“中间”（通常称为前馈）层的维度。encoder_ffn_dim(int, 可选, 默认为 4096) — 解码器中“中间”（通常称为前馈）层的维度。activation_function(str或function, 可选, 默认为"gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"silu"和"gelu_new"。dropout(float, 可选, 默认为 0.1) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。attention_dropout(float, 可选, 默认为 0.0) — 注意力概率的 dropout 比率。activation_dropout(float, 可选, 默认为 0.0) — 全连接层内激活的 dropout 比率。classifier_dropout(float, 可选, 默认为 0.0) — 分类器的 dropout 比率。max_position_embeddings(int, 可选, 默认为 1024) — 该模型可能被使用的最大序列长度。通常将其设置为一个较大的值以防万一（例如 512、1024 或 2048）。init_std(float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。encoder_layerdrop(float, 可选, 默认为 0.0) — 编码器的 LayerDrop 概率。有关更多详细信息，请参阅 LayerDrop 论文)。decoder_layerdrop(float, 可选, 默认为 0.0) — 解码器的 LayerDrop 概率。有关更多详细信息，请参阅 LayerDrop 论文)。scale_embedding(bool, 可选, 默认为False) — 通过将 sqrt(d_model)除以来缩放嵌入。use_cache(bool, 可选, 默认为True) — 模型是否应返回最后的键/值注意力（并非所有模型都使用）forced_eos_token_id(int, 可选, 默认为 2) — 当达到max_length时，强制作为最后生成的标记的标记 ID。通常设置为eos_token_id。
这是用于存储 MBartModel 配置的配置类。它用于根据指定的参数实例化一个 MBART 模型，定义模型架构。使用默认值实例化配置将产生类似于 MBART facebook/mbart-large-cc25架构的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。
示例：
>>> from transformers import MBartConfig, MBartModel >>> # Initializing a MBART facebook/mbart-large-cc25 style configuration >>> configuration = MBartConfig() >>> # Initializing a model (with random weights) from the facebook/mbart-large-cc25 style configuration >>> model = MBartModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config
MBartTokenizer
class transformers.MBartTokenizer
( vocab_file bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' tokenizer_file = None src_lang = None tgt_lang = None sp_model_kwargs: Optional = None additional_special_tokens = None **kwargs )
构建一个 MBART 标记器。
改编自 RobertaTokenizer 和 XLNetTokenizer。基于SentencePiece。
对于源语言文档，标记化方法是 ，对于目标语言文档，是
` 用于目标语言文档。
示例：
>>> from transformers import MBartTokenizer >>> tokenizer = MBartTokenizer.from_pretrained("facebook/mbart-large-en-ro", src_lang="en_XX", tgt_lang="ro_RO") >>> example_english_phrase = " UN Chief Says There Is No Military Solution in Syria" >>> expected_translation_romanian = "Şeful ONU declară că nu există o soluţie militară în Siria" >>> inputs = tokenizer(example_english_phrase, text_target=expected_translation_romanian, return_tensors="pt")
build_inputs_with_special_tokens
( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]
参数
token_ids_0(List[int]) — 将添加特殊标记的 ID 列表。token_ids_1(List[int], 可选) — 序列对的可选第二个 ID 列表。
返回
List[int]
具有适当特殊标记的 input IDs 列表。
通过连接和添加特殊标记，从序列或序列对构建用于序列分类任务的模型输入。MBART 序列具有以下格式，其中X表示序列：
input_ids（用于编码器）X [eos, src_lang_code]decoder_input_ids:（用于解码器）X [eos, tgt_lang_code]
BOS 从不使用。序列对不是预期的用例，但它们将在没有分隔符的情况下处理。
MBartTokenizerFast
class transformers.MBartTokenizerFast
( vocab_file = None tokenizer_file = None bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' src_lang = None tgt_lang = None additional_special_tokens = None **kwargs )
构建一个“快速”MBART 标记器（由 HuggingFace 的tokenizers库支持）。基于BPE。
此标记器继承自 PreTrainedTokenizerFast，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。
对于源语言文档，标记化方法是 ，对于目标语言文档，是
` 用于目标语言文档。
示例：
>>> from transformers import MBartTokenizerFast >>> tokenizer = MBartTokenizerFast.from_pretrained( ... "facebook/mbart-large-en-ro", src_lang="en_XX", tgt_lang="ro_RO" ... ) >>> example_english_phrase = " UN Chief Says There Is No Military Solution in Syria" >>> expected_translation_romanian = "Şeful ONU declară că nu există o soluţie militară în Siria" >>> inputs = tokenizer(example_english_phrase, text_target=expected_translation_romanian, return_tensors="pt")
build_inputs_with_special_tokens
( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]
参数
token_ids_0(List[int]) — 将添加特殊标记的 ID 列表。token_ids_1(List[int], 可选) — 序列对的可选第二个 ID 列表。
返回
List[int]
具有适当特殊标记的 input IDs 列表。
通过连接和添加特殊标记，从序列或序列对构建用于序列分类任务的模型输入。特殊标记取决于调用 set_lang。
MBART 序列具有以下格式，其中X表示序列：
input_ids(用于编码器)X [eos, src_lang_code]decoder_input_ids: (用于解码器)X [eos, tgt_lang_code]
BOS 从不使用。序列对不是预期的用例，但它们将在没有分隔符的情况下处理。
create_token_type_ids_from_sequences
( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]
参数
token_ids_0(List[int]) — ID 列表。token_ids_1(List[int], 可选) — 序列对的可选第二个 ID 列表。
返回
List[int]
零的列表。
从传递的两个序列创建一个用于序列对分类任务的掩码。mBART 不使用标记类型 ID，因此返回一个零列表。
set_src_lang_special_tokens
( src_lang )
将特殊标记重置为源语言设置。无前缀和后缀=[eos, src_lang_code]。
set_tgt_lang_special_tokens
( lang: str )
将特殊标记重置为目标语言设置。无前缀和后缀=[eos, tgt_lang_code]。
MBart50Tokenizer
class transformers.MBart50Tokenizer
( vocab_file src_lang = None tgt_lang = None eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' sp_model_kwargs: Optional = None **kwargs )
参数
vocab_file(str) — 词汇表文件的路径。src_lang(str, 可选) — 表示源语言的字符串。tgt_lang(str, 可选) — 表示目标语言的字符串。eos_token(str, 可选, 默认为"") — 序列结束标记。sep_token(str, 可选, 默认为"") — 分隔符标记，在从多个序列构建序列时使用，例如，用于序列分类的两个序列或用于文本和问题的问题回答。它还用作使用特殊标记构建的序列的最后一个标记。cls_token(str, 可选, 默认为"") — 在进行序列分类时使用的分类器标记（对整个序列进行分类，而不是对每个标记进行分类）。当使用特殊标记构建序列时，它是序列的第一个标记。unk_token(str, 可选, 默认为"") — 未知标记。词汇表中没有的标记无法转换为 ID，而是设置为此标记。pad_token(str, 可选, 默认为"") — 用于填充的标记，例如，当批处理不同长度的序列时。mask_token(str, 可选, 默认为"") — 用于屏蔽值的标记。在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。sp_model_kwargs(dict, 可选) — 将传递给SentencePieceProcessor.__init__()方法。SentencePiece 的 Python 包装器可用于设置：
enable_sampling: 启用子词正则化。nbest_size: 用于 unigram 的采样参数。对于 BPE-Dropout 无效。
nbest_size = {0,1}: 不执行采样。nbest_size > 1: 从 nbest_size 结果中进行采样。nbest_size < 0: 假设 nbest_size 是无限的，并使用前向过滤和后向采样算法从所有假设（格）中进行采样。
alpha: unigram 采样的平滑参数，以及 BPE-dropout 的合并操作的丢失概率。
构建一个 MBart50 分词器。基于SentencePiece。
这个分词器继承自 PreTrainedTokenizer，其中包含大部分主要方法。用户应参考这个超类以获取有关这些方法的更多信息。
示例：
>>> from transformers import MBart50Tokenizer >>> tokenizer = MBart50Tokenizer.from_pretrained("facebook/mbart-large-50", src_lang="en_XX", tgt_lang="ro_RO") >>> src_text = " UN Chief Says There Is No Military Solution in Syria" >>> tgt_text = "Şeful ONU declară că nu există o soluţie militară în Siria" >>> model_inputs = tokenizer(src_text, text_target=tgt_text, return_tensors="pt") >>> # model(**model_inputs) should work
build_inputs_with_special_tokens
( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]
参数
token_ids_0(List[int]) — 将添加特殊标记的 ID 列表。token_ids_1(List[int], 可选) — 序列对的第二个 ID 列表（可选）。
返回
List[int]
具有适当特殊标记的 input IDs 列表。
通过连接和添加特殊标记，从序列或序列对构建用于序列分类任务的模型输入。MBART-50 序列具有以下格式，其中X表示序列：
input_ids(用于编码器)[src_lang_code] X [eos]labels: (用于解码器)[tgt_lang_code] X [eos]
BOS 从不使用。序列对不是预期的用例，但它们将在没有分隔符的情况下处理。
convert_tokens_to_string
( tokens )
将一系列标记（字符串）转换为单个字符串。
get_special_tokens_mask
( token_ids_0: List token_ids_1: Optional = None already_has_special_tokens: bool = False ) → export const metadata = 'undefined';List[int]
参数
token_ids_0(List[int]) — ID 列表。token_ids_1(List[int], 可选) — 序列对的第二个 ID 列表（可选）。already_has_special_tokens(bool, 可选, 默认为False) — 标记列表是否已经使用特殊标记格式化为模型。
返回
List[int]
一个整数列表，范围为[0, 1]：1 表示特殊标记，0 表示序列标记。
从没有添加特殊标记的标记列表中检索序列 ID。当使用分词器的prepare_for_model方法添加特殊标记时，将调用此方法。
set_src_lang_special_tokens
( src_lang: str )
将特殊标记重置为源语言设置。前缀=[src_lang_code]，后缀=[eos]。
set_tgt_lang_special_tokens
( tgt_lang: str )
将特殊标记重置为目标语言设置。前缀=[tgt_lang_code]，后缀=[eos]。
Transformers 4.37 中文文档（四十三）（2）https://developer.aliyun.com/article/1565192
