Transformers 4.37 中文文档（四十八）（1）

原文：huggingface.co/docs/transformers

MVP

原文：huggingface.co/docs/transformers/v4.37.2/en/model_doc/mvp

概述

MVP 模型由唐天一、李俊毅、赵新文和文继荣在《MVP: 多任务监督预训练用于自然语言生成》中提出。

根据摘要，

• MVP 遵循标准的 Transformer 编码器-解码器架构。
• MVP 是使用标记数据集进行监督预训练的。
• MVP 还具有任务特定的软提示，以激发模型在执行特定任务时的能力。
• MVP 专为自然语言生成而设计，可适应各种生成任务，包括但不限于摘要、数据到文本生成、开放式对话系统、故事生成、问答、问题生成、任务导向对话系统、常识生成、释义生成、文本风格转换和文本简化。我们的模型也可以适应自然语言理解任务，如序列分类和（抽取式）问答。

此模型由Tianyi Tang贡献。详细信息和说明可在此处找到。

使用提示

• 我们发布了一系列模型这里，包括 MVP、具有任务特定提示的 MVP 和多任务预训练变体。
• 如果要使用没有提示的模型（标准 Transformer），可以通过MvpForConditionalGeneration.from_pretrained('RUCAIBox/mvp')加载。
• 如果要使用具有任务特定提示的模型，例如摘要，可以通过MvpForConditionalGeneration.from_pretrained('RUCAIBox/mvp-summarization')加载。
• 我们的模型支持轻量级提示调整，遵循Prefix-tuning，使用方法set_lightweight_tuning()。

使用示例

对于摘要，可以使用 MVP 和具有摘要特定提示的 MVP 作为示例。

>>> from transformers import MvpTokenizer, MvpForConditionalGeneration
>>> tokenizer = MvpTokenizer.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp")
>>> model_with_prompt = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp-summarization")
>>> inputs = tokenizer(
...     "Summarize: You may want to stick it to your boss and leave your job, but don't do it if these are your reasons.",
...     return_tensors="pt",
... )
>>> generated_ids = model.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
["Why You Shouldn't Quit Your Job"]
>>> generated_ids = model_with_prompt.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
["Don't do it if these are your reasons"]

对于数据到文本生成，可以使用 MVP 和多任务预训练变体作为示例。

>>> from transformers import MvpTokenizerFast, MvpForConditionalGeneration
>>> tokenizer = MvpTokenizerFast.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp")
>>> model_with_mtl = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mtl-data-to-text")
>>> inputs = tokenizer(
...     "Describe the following data: Iron Man | instance of | Superhero [SEP] Stan Lee | creator | Iron Man",
...     return_tensors="pt",
... )
>>> generated_ids = model.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
['Stan Lee created the character of Iron Man, a fictional superhero appearing in American comic']
>>> generated_ids = model_with_mtl.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
['Iron Man is a fictional superhero appearing in American comic books published by Marvel Comics.']

对于轻量级调整，即固定模型并仅调整提示，您可以加载具有随机初始化提示或具有任务特定提示的 MVP。我们的代码还支持使用 BART 进行前缀调整，遵循原始论文。

>>> from transformers import MvpForConditionalGeneration
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp", use_prompt=True)
>>> # the number of trainable parameters (full tuning)
>>> sum(p.numel() for p in model.parameters() if p.requires_grad)
468116832
>>> # lightweight tuning with randomly initialized prompts
>>> model.set_lightweight_tuning()
>>> # the number of trainable parameters (lightweight tuning)
>>> sum(p.numel() for p in model.parameters() if p.requires_grad)
61823328
>>> # lightweight tuning with task-specific prompts
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mtl-data-to-text")
>>> model.set_lightweight_tuning()
>>> # original lightweight Prefix-tuning
>>> model = MvpForConditionalGeneration.from_pretrained("facebook/bart-large", use_prompt=True)
>>> model.set_lightweight_tuning()

资源

• 文本分类任务指南
• 问答任务指南
• 因果语言建模任务指南
• 掩码语言建模任务指南
• 翻译任务指南
• 摘要任务指南

MvpConfig

class transformers.MvpConfig

<来源>

( vocab_size = 50267 max_position_embeddings = 1024 encoder_layers = 12 encoder_ffn_dim = 4096 encoder_attention_heads = 16 decoder_layers = 12 decoder_ffn_dim = 4096 decoder_attention_heads = 16 encoder_layerdrop = 0.0 decoder_layerdrop = 0.0 activation_function = 'gelu' d_model = 1024 dropout = 0.1 attention_dropout = 0.0 activation_dropout = 0.0 init_std = 0.02 classifier_dropout = 0.0 scale_embedding = False use_cache = True pad_token_id = 1 bos_token_id = 0 eos_token_id = 2 is_encoder_decoder = True decoder_start_token_id = 2 forced_eos_token_id = 2 use_prompt = False prompt_length = 100 prompt_mid_dim = 800 **kwargs )

参数

• vocab_size（int，可选，默认为 50267）- MVP 模型的词汇量。定义了在调用 MvpModel 时可以表示的不同标记数量。
• d_model（int，可选，默认为 1024）- 层和池化层的维度。
• encoder_layers（int，可选，默认为 12）- 编码器层数。
• decoder_layers（int，可选，默认为 12）- 解码器层数。
• encoder_attention_heads（int，可选，默认为 16）- Transformer 编码器中每个注意力层的注意力头数。
• decoder_attention_heads（int，可选，默认为 16）- Transformer 解码器中每个注意力层的注意力头数。
• decoder_ffn_dim（int，可选，默认为 4096）- 解码器中“中间”（通常称为前馈）层的维度。
• encoder_ffn_dim (int, optional, defaults to 4096) — 解码器中“中间”（通常称为前馈）层的维度。
• activation_function (str or function, optional, defaults to "gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"silu"和"gelu_new"。
• dropout (float, optional, defaults to 0.1) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。
• attention_dropout (float, optional, defaults to 0.0) — 注意力概率的 dropout 比率。
• activation_dropout (float, optional, defaults to 0.0) — 全连接层内激活的 dropout 比率。
• classifier_dropout (float, optional, defaults to 0.0) — 分类器的 dropout 比率。
• max_position_embeddings (int, optional, defaults to 1024) — 此模型可能使用的最大序列长度。通常设置为较大的值以防万一（例如，512 或 1024 或 2048）。
• init_std (float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
• encoder_layerdrop (float, optional, defaults to 0.0) — 编码器的 LayerDrop 概率。更多细节请参阅 LayerDrop paper)。
• decoder_layerdrop (float, optional, defaults to 0.0) — 解码器的 LayerDrop 概率。更多细节请参阅 LayerDrop paper)。
• scale_embedding (bool, optional, defaults to False) — 通过 sqrt(d_model)缩放嵌入。
• use_cache (bool, optional, defaults to True) — 模型是否应返回最后的键/值注意力（并非所有模型都使用）。
• forced_eos_token_id (int, optional, defaults to 2) — 当达到max_length时，强制作为最后生成的 token 的 id。通常设置为eos_token_id。
• use_prompt (bool, optional, defaults to False) — 是否使用 prompt。
• prompt_length (int, optional, defaults to 100) — prompt 的长度。
• prompt_mid_dim (int, optional, defaults to 800) — prompt 中“中间”层的维度。

这是用于存储 MvpModel 配置的配置类。它用于根据指定的参数实例化 MVP 模型，定义模型架构。使用默认值实例化配置将产生类似于 MVP RUCAIBox/mvp 架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import MvpConfig, MvpModel
>>> # Initializing a MVP RUCAIBox/mvp style configuration
>>> configuration = MvpConfig()
>>> # Initializing a model (with random weights) from the RUCAIBox/mvp style configuration
>>> model = MvpModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

MvpTokenizer

class transformers.MvpTokenizer

< source >

( vocab_file merges_file errors = 'replace' bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' add_prefix_space = False **kwargs )

参数

• vocab_file (str) — 词汇文件的路径。
• merges_file (str) — 合并文件的路径。
• errors (str, optional, defaults to "replace") — 解码字节为 UTF-8 时要遵循的范例。更多信息请参阅bytes.decode。
• bos_token (str, optional, defaults to "") — 在预训练期间使用的序列开始 token。可以用作序列分类器 token。
  构建序列时使用特殊 token 时，这不是用于序列开头的 token。用于开头的 token 是cls_token。
• eos_token (str, optional, defaults to "") — 序列结束标记。
  在使用特殊标记构建序列时，这不是用于序列结尾的标记。使用的标记是sep_token。
• sep_token (str, optional, defaults to "") — 分隔符标记，在从多个序列构建序列时使用，例如用于序列分类的两个序列或用于文本和问题的问题回答。它也用作使用特殊标记构建的序列的最后一个标记。
• cls_token (str, optional, defaults to "") — 用于序列分类（整个序列而不是每个标记的分类）时使用的分类器标记。当使用特殊标记构建序列时，它是序列的第一个标记。
• unk_token (str, optional, defaults to "") — 未知标记。词汇表中不存在的标记无法转换为 ID，而是设置为此标记。
• pad_token (str, optional, defaults to "") — 用于填充的标记，例如在批处理不同长度的序列时使用。
• mask_token (str, optional, defaults to "") — 用于屏蔽值的标记。这是在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
• add_prefix_space (bool, optional, defaults to False) — 是否在输入前添加一个初始空格。这允许将前导单词视为任何其他单词。（MVP 标记器通过前面的空格检测单词的开头）。

构建一个 MVP 标记器，类似于 RoBERTa 标记器，使用字节级字节对编码。

此标记器已经训练成将空格视为标记的一部分（有点像 sentencepiece），因此一个单词将

在句子开头（无空格）或不在句子开头时，将以不同方式编码：

>>> from transformers import MvpTokenizer
>>> tokenizer = MvpTokenizer.from_pretrained("RUCAIBox/mvp")
>>> tokenizer("Hello world")["input_ids"]
[0, 31414, 232, 2]
>>> tokenizer(" Hello world")["input_ids"]
[0, 20920, 232, 2]

您可以通过在实例化此标记器时或在对某些文本调用它时传递add_prefix_space=True来避免这种行为，但由于模型不是以这种方式进行预训练的，因此可能会导致性能下降。

当与is_split_into_words=True一起使用时，此标记器将在每个单词之前添加一个空格（甚至是第一个单词）。

此标记器继承自 PreTrainedTokenizer，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0 (List[int]) — 将添加特殊标记的 ID 列表。
• token_ids_1 (List[int], optional) — 序列对的可选第二个 ID 列表。

返回

List[int]

具有适当特殊标记的输入 ID 列表。

通过连接和添加特殊标记，为序列分类任务从序列或序列对构建模型输入。MVP 序列的格式如下：

• 单个序列： X
• 序列对： A B

convert_tokens_to_string

<来源>

( tokens )

将标记序列（字符串）转换为单个字符串。

create_token_type_ids_from_sequences

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0 (List[int]) — ID 列表。
• token_ids_1 (List[int], optional) — 序列对的可选第二个 ID 列表。

返回

List[int]

零列表。

从传递的两个序列创建一个用于序列对分类任务的掩码。MVP 不使用标记类型 ID，因此返回一个零列表。

get_special_tokens_mask

< source >

( token_ids_0: List token_ids_1: Optional = None already_has_special_tokens: bool = False ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0 (List[int]) — ID 列表。
• token_ids_1 (List[int], 可选) — 序列对的第二个 ID 列表。
• already_has_special_tokens (bool, 可选, 默认为 False) — 标记列表是否已经格式化为模型的特殊标记。

返回

List[int]

一个整数列表，范围为[0, 1]：1 表示特殊标记，0 表示序列标记。

从没有添加特殊标记的标记列表中检索序列 ID。在使用 tokenizer 的prepare_for_model方法添加特殊标记时调用此方法。

MvpTokenizerFast

class transformers.MvpTokenizerFast

< source >

( vocab_file = None merges_file = None tokenizer_file = None errors = 'replace' bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' add_prefix_space = False trim_offsets = True **kwargs )

参数

• vocab_file (str) — 词汇表文件的路径。
• merges_file (str) — 合并文件的路径。
• errors (str, 可选, 默认为 "replace") — 解码字节为 UTF-8 时要遵循的范例。有关更多信息，请参阅bytes.decode。
• bos_token (str, 可选, 默认为 "") — 在预训练期间使用的序列开头标记。可用作序列分类器标记。
  构建序列时使用特殊标记时，这不是用于序列开头的标记。使用的标记是cls_token。
• eos_token (str, 可选, 默认为 "") — 序列结束标记。
  在使用特殊标记构建序列时，这不是用于序列结尾的标记。使用的标记是sep_token。
• sep_token (str, 可选, 默认为 "") — 分隔符标记，在从多个序列构建序列时使用，例如用于序列分类的两个序列或用于问题回答的文本和问题。它还用作使用特殊标记构建的序列的最后一个标记。
• cls_token (str, 可选, 默认为 "") — 分类器标记，用于进行序列分类（对整个序列进行分类而不是对每个标记进行分类）。在使用特殊标记构建时，它是序列的第一个标记。
• unk_token (str, 可选, 默认为 "") — 未知标记。词汇表中没有的标记无法转换为 ID，而是设置为此标记。
• pad_token (str, 可选, 默认为 "") — 用于填充的标记，例如在批处理不同长度的序列时。
• mask_token (str, 可选, 默认为 "") — 用于屏蔽值的标记。在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
• add_prefix_space (bool, 可选, 默认为 False) — 是否在输入前添加一个初始空格。这允许将前导单词视为任何其他单词。（MVP tokenizer 通过前面的空格检测单词的开头）。
• trim_offsets (bool, 可选, 默认为 True) — 后处理步骤是否应修剪偏移量以避免包含空格。

构建一个“快速”MVP tokenizer（由 HuggingFace 的tokenizers库支持），源自 GPT-2 tokenizer，使用字节级别的字节对编码。

此 tokenizer 已经训练成将空格视为标记的一部分（有点像 sentencepiece），因此一个单词将

在句子开头（无空格）或不在句子开头时，将以不同方式编码：

>>> from transformers import MvpTokenizerFast
>>> tokenizer = MvpTokenizerFast.from_pretrained("RUCAIBox/mvp")
>>> tokenizer("Hello world")["input_ids"]
[0, 31414, 232, 2]
>>> tokenizer(" Hello world")["input_ids"]
[0, 20920, 232, 2]

您可以通过在实例化此 tokenizer 时或在对某些文本调用它时传递add_prefix_space=True来避免该行为，但由于模型不是以这种方式进行预训练的，因此可能会降低性能。

当与is_split_into_words=True一起使用时，需要使用add_prefix_space=True来实例化此 tokenizer。

此标记生成器继承自 PreTrainedTokenizerFast，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

create_token_type_ids_from_sequences

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0（List[int]）— ID 列表。
• token_ids_1（List[int]，可选）— 序列对的第二个 ID 列表。

返回

List[int]

零的列表。

从传递的两个序列创建一个用于序列对分类任务的掩码。MVP 不使用标记类型 id，因此返回一个零的列表。

Transformers 4.37 中文文档（四十八）（2）https://developer.aliyun.com/article/1565008