Transformers 4.37 中文文档（四十八）（1）-阿里云开发者社区

原文：huggingface.co/docs/transformers

MVP

原文：huggingface.co/docs/transformers/v4.37.2/en/model_doc/mvp

概述

MVP 模型由唐天一、李俊毅、赵新文和文继荣在《MVP: 多任务监督预训练用于自然语言生成》中提出。

根据摘要，

MVP 遵循标准的 Transformer 编码器-解码器架构。
MVP 是使用标记数据集进行监督预训练的。
MVP 还具有任务特定的软提示，以激发模型在执行特定任务时的能力。
MVP 专为自然语言生成而设计，可适应各种生成任务，包括但不限于摘要、数据到文本生成、开放式对话系统、故事生成、问答、问题生成、任务导向对话系统、常识生成、释义生成、文本风格转换和文本简化。我们的模型也可以适应自然语言理解任务，如序列分类和（抽取式）问答。

此模型由Tianyi Tang贡献。详细信息和说明可在此处找到。

使用提示

我们发布了一系列模型这里，包括 MVP、具有任务特定提示的 MVP 和多任务预训练变体。
如果要使用没有提示的模型（标准 Transformer），可以通过MvpForConditionalGeneration.from_pretrained('RUCAIBox/mvp')加载。
如果要使用具有任务特定提示的模型，例如摘要，可以通过MvpForConditionalGeneration.from_pretrained('RUCAIBox/mvp-summarization')加载。
我们的模型支持轻量级提示调整，遵循Prefix-tuning，使用方法set_lightweight_tuning()。

使用示例

对于摘要，可以使用 MVP 和具有摘要特定提示的 MVP 作为示例。

>>> from transformers import MvpTokenizer, MvpForConditionalGeneration
>>> tokenizer = MvpTokenizer.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp")
>>> model_with_prompt = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp-summarization")
>>> inputs = tokenizer(
...     "Summarize: You may want to stick it to your boss and leave your job, but don't do it if these are your reasons.",
...     return_tensors="pt",
... )
>>> generated_ids = model.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
["Why You Shouldn't Quit Your Job"]
>>> generated_ids = model_with_prompt.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
["Don't do it if these are your reasons"]

对于数据到文本生成，可以使用 MVP 和多任务预训练变体作为示例。

>>> from transformers import MvpTokenizerFast, MvpForConditionalGeneration
>>> tokenizer = MvpTokenizerFast.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp")
>>> model_with_mtl = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mtl-data-to-text")
>>> inputs = tokenizer(
...     "Describe the following data: Iron Man | instance of | Superhero [SEP] Stan Lee | creator | Iron Man",
...     return_tensors="pt",
... )
>>> generated_ids = model.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
['Stan Lee created the character of Iron Man, a fictional superhero appearing in American comic']
>>> generated_ids = model_with_mtl.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
['Iron Man is a fictional superhero appearing in American comic books published by Marvel Comics.']

对于轻量级调整，即固定模型并仅调整提示，您可以加载具有随机初始化提示或具有任务特定提示的 MVP。我们的代码还支持使用 BART 进行前缀调整，遵循原始论文。

>>> from transformers import MvpForConditionalGeneration
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp", use_prompt=True)
>>> # the number of trainable parameters (full tuning)
>>> sum(p.numel() for p in model.parameters() if p.requires_grad)
468116832
>>> # lightweight tuning with randomly initialized prompts
>>> model.set_lightweight_tuning()
>>> # the number of trainable parameters (lightweight tuning)
>>> sum(p.numel() for p in model.parameters() if p.requires_grad)
61823328
>>> # lightweight tuning with task-specific prompts
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mtl-data-to-text")
>>> model.set_lightweight_tuning()
>>> # original lightweight Prefix-tuning
>>> model = MvpForConditionalGeneration.from_pretrained("facebook/bart-large", use_prompt=True)
>>> model.set_lightweight_tuning()

资源

文本分类任务指南
问答任务指南
因果语言建模任务指南
掩码语言建模任务指南
翻译任务指南
摘要任务指南

MvpConfig

`class transformers.MvpConfig`

<来源>

( vocab_size = 50267 max_position_embeddings = 1024 encoder_layers = 12 encoder_ffn_dim = 4096 encoder_attention_heads = 16 decoder_layers = 12 decoder_ffn_dim = 4096 decoder_attention_heads = 16 encoder_layerdrop = 0.0 decoder_layerdrop = 0.0 activation_function = 'gelu' d_model = 1024 dropout = 0.1 attention_dropout = 0.0 activation_dropout = 0.0 init_std = 0.02 classifier_dropout = 0.0 scale_embedding = False use_cache = True pad_token_id = 1 bos_token_id = 0 eos_token_id = 2 is_encoder_decoder = True decoder_start_token_id = 2 forced_eos_token_id = 2 use_prompt = False prompt_length = 100 prompt_mid_dim = 800 **kwargs )

参数

vocab_size（int，可选，默认为 50267）- MVP 模型的词汇量。定义了在调用 MvpModel 时可以表示的不同标记数量。
d_model（int，可选，默认为 1024）- 层和池化层的维度。
encoder_layers（int，可选，默认为 12）- 编码器层数。
decoder_layers（int，可选，默认为 12）- 解码器层数。
encoder_attention_heads（int，可选，默认为 16）- Transformer 编码器中每个注意力层的注意力头数。
decoder_attention_heads（int，可选，默认为 16）- Transformer 解码器中每个注意力层的注意力头数。
decoder_ffn_dim（int，可选，默认为 4096）- 解码器中“中间”（通常称为前馈）层的维度。
encoder_ffn_dim (int, optional, defaults to 4096) — 解码器中“中间”（通常称为前馈）层的维度。
activation_function (str or function, optional, defaults to "gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"silu"和"gelu_new"。
dropout (float, optional, defaults to 0.1) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。
attention_dropout (float, optional, defaults to 0.0) — 注意力概率的 dropout 比率。
activation_dropout (float, optional, defaults to 0.0) — 全连接层内激活的 dropout 比率。
classifier_dropout (float, optional, defaults to 0.0) — 分类器的 dropout 比率。
max_position_embeddings (int, optional, defaults to 1024) — 此模型可能使用的最大序列长度。通常设置为较大的值以防万一（例如，512 或 1024 或 2048）。
init_std (float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
encoder_layerdrop (float, optional, defaults to 0.0) — 编码器的 LayerDrop 概率。更多细节请参阅 LayerDrop paper)。
decoder_layerdrop (float, optional, defaults to 0.0) — 解码器的 LayerDrop 概率。更多细节请参阅 LayerDrop paper)。
scale_embedding (bool, optional, defaults to False) — 通过 sqrt(d_model)缩放嵌入。
use_cache (bool, optional, defaults to True) — 模型是否应返回最后的键/值注意力（并非所有模型都使用）。
forced_eos_token_id (int, optional, defaults to 2) — 当达到max_length时，强制作为最后生成的 token 的 id。通常设置为eos_token_id。
use_prompt (bool, optional, defaults to False) — 是否使用 prompt。
prompt_length (int, optional, defaults to 100) — prompt 的长度。
prompt_mid_dim (int, optional, defaults to 800) — prompt 中“中间”层的维度。

这是用于存储 MvpModel 配置的配置类。它用于根据指定的参数实例化 MVP 模型，定义模型架构。使用默认值实例化配置将产生类似于 MVP RUCAIBox/mvp 架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import MvpConfig, MvpModel
>>> # Initializing a MVP RUCAIBox/mvp style configuration
>>> configuration = MvpConfig()
>>> # Initializing a model (with random weights) from the RUCAIBox/mvp style configuration
>>> model = MvpModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

MvpTokenizer

`class transformers.MvpTokenizer`

< source >

( vocab_file merges_file errors = 'replace' bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' add_prefix_space = False **kwargs )

参数

vocab_file (str) — 词汇文件的路径。
merges_file (str) — 合并文件的路径。
errors (str, optional, defaults to "replace") — 解码字节为 UTF-8 时要遵循的范例。更多信息请参阅bytes.decode。
bos_token (str, optional, defaults to "") — 在预训练期间使用的序列开始 token。可以用作序列分类器 token。
构建序列时使用特殊 token 时，这不是用于序列开头的 token。用于开头的 token 是cls_token。
eos_token (str, optional, defaults to "") — 序列结束标记。
在使用特殊标记构建序列时，这不是用于序列结尾的标记。使用的标记是sep_token。
sep_token (str, optional, defaults to "") — 分隔符标记，在从多个序列构建序列时使用，例如用于序列分类的两个序列或用于文本和问题的问题回答。它也用作使用特殊标记构建的序列的最后一个标记。
cls_token (str, optional, defaults to "") — 用于序列分类（整个序列而不是每个标记的分类）时使用的分类器标记。当使用特殊标记构建序列时，它是序列的第一个标记。
unk_token (str, optional, defaults to "") — 未知标记。词汇表中不存在的标记无法转换为 ID，而是设置为此标记。
pad_token (str, optional, defaults to "") — 用于填充的标记，例如在批处理不同长度的序列时使用。
mask_token (str, optional, defaults to "") — 用于屏蔽值的标记。这是在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
add_prefix_space (bool, optional, defaults to False) — 是否在输入前添加一个初始空格。这允许将前导单词视为任何其他单词。（MVP 标记器通过前面的空格检测单词的开头）。

构建一个 MVP 标记器，类似于 RoBERTa 标记器，使用字节级字节对编码。

此标记器已经训练成将空格视为标记的一部分（有点像 sentencepiece），因此一个单词将

在句子开头（无空格）或不在句子开头时，将以不同方式编码：

>>> from transformers import MvpTokenizer
>>> tokenizer = MvpTokenizer.from_pretrained("RUCAIBox/mvp")
>>> tokenizer("Hello world")["input_ids"]
[0, 31414, 232, 2]
>>> tokenizer(" Hello world")["input_ids"]
[0, 20920, 232, 2]

您可以通过在实例化此标记器时或在对某些文本调用它时传递add_prefix_space=True来避免这种行为，但由于模型不是以这种方式进行预训练的，因此可能会导致性能下降。

当与is_split_into_words=True一起使用时，此标记器将在每个单词之前添加一个空格（甚至是第一个单词）。

此标记器继承自 PreTrainedTokenizer，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

`build_inputs_with_special_tokens`

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

token_ids_0 (List[int]) — 将添加特殊标记的 ID 列表。
token_ids_1 (List[int], optional) — 序列对的可选第二个 ID 列表。

List[int]

具有适当特殊标记的输入 ID 列表。

通过连接和添加特殊标记，为序列分类任务从序列或序列对构建模型输入。MVP 序列的格式如下：

单个序列： X
序列对： A B

`convert_tokens_to_string`

<来源>

( tokens )

将标记序列（字符串）转换为单个字符串。

`create_token_type_ids_from_sequences`

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

token_ids_0 (List[int]) — ID 列表。
token_ids_1 (List[int], optional) — 序列对的可选第二个 ID 列表。

List[int]

零列表。

从传递的两个序列创建一个用于序列对分类任务的掩码。MVP 不使用标记类型 ID，因此返回一个零列表。

`get_special_tokens_mask`

< source >

( token_ids_0: List token_ids_1: Optional = None already_has_special_tokens: bool = False ) → export const metadata = 'undefined';List[int]

参数

token_ids_0 (List[int]) — ID 列表。
token_ids_1 (List[int], 可选) — 序列对的第二个 ID 列表。
already_has_special_tokens (bool, 可选, 默认为 False) — 标记列表是否已经格式化为模型的特殊标记。

List[int]

一个整数列表，范围为[0, 1]：1 表示特殊标记，0 表示序列标记。

从没有添加特殊标记的标记列表中检索序列 ID。在使用 tokenizer 的prepare_for_model方法添加特殊标记时调用此方法。

MvpTokenizerFast

`class transformers.MvpTokenizerFast`

< source >

( vocab_file = None merges_file = None tokenizer_file = None errors = 'replace' bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' add_prefix_space = False trim_offsets = True **kwargs )

参数

vocab_file (str) — 词汇表文件的路径。
merges_file (str) — 合并文件的路径。
errors (str, 可选, 默认为 "replace") — 解码字节为 UTF-8 时要遵循的范例。有关更多信息，请参阅bytes.decode。
bos_token (str, 可选, 默认为 "") — 在预训练期间使用的序列开头标记。可用作序列分类器标记。
构建序列时使用特殊标记时，这不是用于序列开头的标记。使用的标记是cls_token。
eos_token (str, 可选, 默认为 "") — 序列结束标记。
在使用特殊标记构建序列时，这不是用于序列结尾的标记。使用的标记是sep_token。
sep_token (str, 可选, 默认为 "") — 分隔符标记，在从多个序列构建序列时使用，例如用于序列分类的两个序列或用于问题回答的文本和问题。它还用作使用特殊标记构建的序列的最后一个标记。
cls_token (str, 可选, 默认为 "") — 分类器标记，用于进行序列分类（对整个序列进行分类而不是对每个标记进行分类）。在使用特殊标记构建时，它是序列的第一个标记。
unk_token (str, 可选, 默认为 "") — 未知标记。词汇表中没有的标记无法转换为 ID，而是设置为此标记。
pad_token (str, 可选, 默认为 "") — 用于填充的标记，例如在批处理不同长度的序列时。
mask_token (str, 可选, 默认为 "") — 用于屏蔽值的标记。在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
add_prefix_space (bool, 可选, 默认为 False) — 是否在输入前添加一个初始空格。这允许将前导单词视为任何其他单词。（MVP tokenizer 通过前面的空格检测单词的开头）。
trim_offsets (bool, 可选, 默认为 True) — 后处理步骤是否应修剪偏移量以避免包含空格。

构建一个“快速”MVP tokenizer（由 HuggingFace 的tokenizers库支持），源自 GPT-2 tokenizer，使用字节级别的字节对编码。

此 tokenizer 已经训练成将空格视为标记的一部分（有点像 sentencepiece），因此一个单词将

在句子开头（无空格）或不在句子开头时，将以不同方式编码：

>>> from transformers import MvpTokenizerFast
>>> tokenizer = MvpTokenizerFast.from_pretrained("RUCAIBox/mvp")
>>> tokenizer("Hello world")["input_ids"]
[0, 31414, 232, 2]
>>> tokenizer(" Hello world")["input_ids"]
[0, 20920, 232, 2]

您可以通过在实例化此 tokenizer 时或在对某些文本调用它时传递add_prefix_space=True来避免该行为，但由于模型不是以这种方式进行预训练的，因此可能会降低性能。

当与is_split_into_words=True一起使用时，需要使用add_prefix_space=True来实例化此 tokenizer。

此标记生成器继承自 PreTrainedTokenizerFast，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

`create_token_type_ids_from_sequences`

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

token_ids_0（List[int]）— ID 列表。
token_ids_1（List[int]，可选）— 序列对的第二个 ID 列表。

List[int]

零的列表。

从传递的两个序列创建一个用于序列对分类任务的掩码。MVP 不使用标记类型 id，因此返回一个零的列表。

Transformers 4.37 中文文档（四十八）（2）https://developer.aliyun.com/article/1565008

Transformers 4.37 中文文档（四十八）（1）

MVP

概述

使用提示

使用示例

资源

MvpConfig

`class transformers.MvpConfig`

MvpTokenizer

`class transformers.MvpTokenizer`

`build_inputs_with_special_tokens`

`convert_tokens_to_string`

`create_token_type_ids_from_sequences`

`get_special_tokens_mask`

MvpTokenizerFast

`class transformers.MvpTokenizerFast`

`create_token_type_ids_from_sequences`

热门文章

最新文章

相关课程

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

Transformers 4.37 中文文档（四十八）（1）

概述

使用提示

使用示例

资源

MvpConfig

class transformers.MvpConfig

MvpTokenizer

class transformers.MvpTokenizer

build_inputs_with_special_tokens

convert_tokens_to_string

create_token_type_ids_from_sequences

get_special_tokens_mask

MvpTokenizerFast

class transformers.MvpTokenizerFast

create_token_type_ids_from_sequences

热门文章

最新文章

相关课程

相关电子书

`class transformers.MvpConfig`

`class transformers.MvpTokenizer`

`build_inputs_with_special_tokens`

`convert_tokens_to_string`

`create_token_type_ids_from_sequences`

`get_special_tokens_mask`

`class transformers.MvpTokenizerFast`

`create_token_type_ids_from_sequences`