Transformers 4.37 中文文档（五十八）（3）

Transformers 4.37 中文文档（五十八）（2）https://developer.aliyun.com/article/1565264

SplinterForPreTraining

class transformers.SplinterForPreTraining

<来源>

( config )

参数

• config（SplinterConfig）— 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

Splinter 模型用于在预训练期间执行重复跨度选择任务。与 QA 任务的不同之处在于我们没有问题，而是有多个问题标记，这些标记替换了重复跨度的出现。

这个模型是 PyTorch torch.nn.Module的子类。将其用作常规的 PyTorch 模块，并参考 PyTorch 文档以获取与一般用法和行为相关的所有内容。

forward

<来源>

( input_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None start_positions: Optional = None end_positions: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None question_positions: Optional = None )

参数

• input_ids（形状为(batch_size, num_questions, sequence_length)的torch.LongTensor）— 词汇表中输入序列标记的索引。
  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
  输入 ID 是什么？
  
• attention_mask（形状为batch_size, num_questions, sequence_length的torch.FloatTensor，可选）— 避免对填充标记索引执行注意力的掩码。选择的掩码值在[0, 1]范围内：

• 1 表示未被屏蔽的标记，
  
• 0 表示被屏蔽的标记。
  

• 什么是注意力掩码？
  
• token_type_ids（形状为batch_size, num_questions, sequence_length的torch.LongTensor，可选）— 段标记索引，指示输入的第一部分和第二部分。索引在[0, 1]中选择：

• 0 对应于句子 A的标记，
  
• 1 对应于句子 B的标记。
  

• 什么是标记类型 ID？
  
• position_ids（形状为batch_size, num_questions, sequence_length的torch.LongTensor，可选）— 每个输入序列标记在位置嵌入中的位置索引。选择范围为[0, config.max_position_embeddings - 1]。
  什么是位置 ID？
  
• head_mask（形状为(num_heads,)或(num_layers, num_heads)的torch.FloatTensor，可选）— 用于使自注意力模块的选定头部失效的掩码。选择的掩码值在[0, 1]范围内：

• 1 表示头部未被屏蔽，
  
• 0 表示头部被屏蔽。
  

• inputs_embeds（形状为(batch_size, num_questions, sequence_length, hidden_size)的torch.FloatTensor，可选）— 可选地，您可以选择直接传递嵌入表示，而不是传递input_ids。如果您想要更多控制权，以便将input_ids索引转换为相关向量，而不是使用模型的内部嵌入查找矩阵，这将非常有用。
  
• output_attentions（bool，可选）— 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回的张量下的attentions。
  
• output_hidden_states（bool，可选）— 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回的张量下的hidden_states。
  
• return_dict（bool，可选）— 是否返回一个 ModelOutput 而不是一个普通元组。
  
• start_positions（形状为(batch_size, num_questions)的torch.LongTensor，可选）— 用于计算标记跨度的起始位置（索引）的标签。位置被夹紧到序列的长度（sequence_length）。序列外的位置不会被考虑在内以计算损失。
  
• end_positions（形状为(batch_size, num_questions)的torch.LongTensor，可选）— 用于计算标记跨度的结束位置（索引）的标签。位置被夹紧到序列的长度（sequence_length）。序列外的位置不会被考虑在内以计算损失。
  
• question_positions（形状为(batch_size, num_questions)的torch.LongTensor，可选）— 所有问题标记的位置。如果给定，start_logits 和 end_logits 将具有形状(batch_size, num_questions, sequence_length)。如果为 None，则批处理中每个序列中的第一个问题标记将是唯一一个计算 start_logits 和 end_logits 的标记，并且它们将具有形状(batch_size, sequence_length)。
  

SplinterForPreTraining 的前向方法覆盖了__call__特殊方法。

尽管前向传递的配方需要在此函数内定义，但应该在此之后调用Module实例，而不是调用此函数，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。

SqueezeBERT

huggingface.co/docs/transformers/v4.37.2/en/model_doc/squeezebert

概述

SqueezeBERT 模型是由 Forrest N. Iandola、Albert E. Shaw、Ravi Krishna、Kurt W. Keutzer 在SqueezeBERT: What can computer vision teach NLP about efficient neural networks?中提出的。它是一个类似于 BERT 模型的双向 transformer。BERT 架构和 SqueezeBERT 架构之间的关键区别在于 SqueezeBERT 使用分组卷积而不是全连接层用于 Q、K、V 和 FFN 层。

该论文的摘要如下：

人类每天阅读和撰写数百亿条消息。此外，由于大型数据集、大型计算系统和更好的神经网络模型的可用性，自然语言处理（NLP）技术在理解、校对和组织这些消息方面取得了重大进展。因此，在许多应用中部署  NLP 技术以帮助网络用户、社交网络和企业存在重大机会。特别是，我们认为智能手机和其他移动设备是大规模部署 NLP  模型的关键平台。然而，如今的高度准确的 NLP 神经网络模型，如 BERT 和 RoBERTa，计算成本极高，BERT-base 在 Pixel  3 智能手机上对文本片段进行分类需要 1.7  秒。在这项工作中，我们观察到诸如分组卷积等方法已经显著加快了计算机视觉网络的速度，但是许多这些技术尚未被 NLP  神经网络设计者采用。我们演示了如何用分组卷积替换自注意力层中的几个操作，并将这种技术应用于一种名为 SqueezeBERT  的新型网络架构，该架构在 Pixel 3 上比 BERT-base 运行速度快 4.3 倍，同时在 GLUE  测试集上实现了竞争性的准确性。SqueezeBERT 代码将发布。

此模型由forresti贡献。

使用提示

• SqueezeBERT 是一个具有绝对位置嵌入的模型，因此通常建议在右侧而不是左侧填充输入。
  
• SqueezeBERT 类似于 BERT，因此依赖于掩码语言建模（MLM）目标。因此，它在预测掩码标记和自然语言理解方面效率高，但不适用于文本生成。使用因果语言建模（CLM）目标训练的模型在这方面更好。
  
• 在进行序列分类任务的微调时，建议从squeezebert/squeezebert-mnli-headless检查点开始以获得最佳结果。
  

资源

• 文本分类任务指南
  
• 标记分类任务指南
  
• 问答任务指南
  
• 掩码语言建模任务指南
  
• 多项选择任务指南
  

SqueezeBertConfig

class transformers.SqueezeBertConfig

<来源>

( vocab_size = 30522 hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.1 attention_probs_dropout_prob = 0.1 max_position_embeddings = 512 type_vocab_size = 2 initializer_range = 0.02 layer_norm_eps = 1e-12 pad_token_id = 0 embedding_size = 768 q_groups = 4 k_groups = 4 v_groups = 4 post_attention_groups = 1 intermediate_groups = 4 output_groups = 4 **kwargs )

参数

• vocab_size（int，可选，默认为 30522）— SqueezeBERT 模型的词汇量。定义了在调用 SqueezeBertModel 时可以表示的不同标记数量。
  
• hidden_size（int，可选，默认为 768）— 编码器层和池化器层的维度。
  
• num_hidden_layers（int，可选，默认为 12）— Transformer 编码器中的隐藏层数量。
  
• num_attention_heads（int，可选，默认为 12）— Transformer 编码器中每个注意力层的注意力头数量。
  
• intermediate_size (int, optional, defaults to 3072) — Transformer 编码器中“中间”（通常称为前馈）层的维度。
  
• hidden_act (str or Callable, optional, defaults to "gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持"gelu"、"relu"、"silu"和"gelu_new"。
  
• hidden_dropout_prob (float, optional, defaults to 0.1) — 嵌入、编码器和池化器中所有全连接层的丢弃概率。
  
• attention_probs_dropout_prob (float, optional, defaults to 0.1) — 注意力概率的丢弃比例。
  
• max_position_embeddings (int, optional, defaults to 512) — 此模型可能使用的最大序列长度。通常将其设置为较大的值以防万一（例如，512 或 1024 或 2048）。
  
• type_vocab_size (int, optional, defaults to 2) — 在调用 BertModel 或 TFBertModel 时传递的token_type_ids的词汇表大小。
  
• initializer_range (float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
  
• layer_norm_eps (float, optional, defaults to 1e-12) —
  
• pad_token_id (int, optional, defaults to 0) — 用作填充的词嵌入中的标记 ID。
  
• embedding_size (int, optional, defaults to 768) — 词嵌入向量的维度。
  
• q_groups (int, optional, defaults to 4) — Q 层中的组数。
  
• k_groups (int, optional, defaults to 4) — K 层中的组数。
  
• v_groups (int, optional, defaults to 4) — V 层中的组数。
  
• post_attention_groups (int, optional, defaults to 1) — 第一个前馈网络层中的组数。
  
• intermediate_groups (int, optional, defaults to 4) — 第二个前馈网络层中的组数。
  
• output_groups (int, optional, defaults to 4) — 第三个前馈网络层中的组数。
  

这是用于存储 SqueezeBertModel 配置的配置类。它用于根据指定的参数实例化一个 SqueezeBERT 模型，定义模型架构。使用默认值实例化配置将产生类似于 SqueezeBERT squeezebert/squeezebert-uncased 架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import SqueezeBertConfig, SqueezeBertModel
>>> # Initializing a SqueezeBERT configuration
>>> configuration = SqueezeBertConfig()
>>> # Initializing a model (with random weights) from the configuration above
>>> model = SqueezeBertModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

属性：pretrained_config_archive_map（Dict[str, str]）：包含所有可用预训练检查点的字典。

SqueezeBertTokenizer

class transformers.SqueezeBertTokenizer

< source >

( vocab_file do_lower_case = True do_basic_tokenize = True never_split = None unk_token = '[UNK]' sep_token = '[SEP]' pad_token = '[PAD]' cls_token = '[CLS]' mask_token = '[MASK]' tokenize_chinese_chars = True strip_accents = None **kwargs )

参数

• vocab_file (str) — 包含词汇表的文件。
  
• do_lower_case (bool, optional, defaults to True) — 是否在标记化时将输入转换为小写。
  
• do_basic_tokenize (bool, optional, defaults to True) — 是否在 WordPiece 之前进行基本的分词处理。
  
• never_split (Iterable, optional) — 在标记化过程中永远不会拆分的标记集合。仅在do_basic_tokenize=True时有效。
  
• unk_token (str, optional, defaults to "[UNK]") — 未知标记。词汇表中没有的标记无法转换为 ID，而是设置为此标记。
  
• sep_token (str, optional, defaults to "[SEP]") — 分隔符标记，在从多个序列构建序列时使用，例如，用于序列分类的两个序列或用于问答的文本和问题。它还用作使用特殊标记构建的序列的最后一个标记。
  
• pad_token (str, optional, defaults to "[PAD]") — 用于填充的标记，例如在批处理不同长度的序列时使用。
  
• cls_token (str, optional, defaults to "[CLS]") — 分类器标记，用于进行序列分类（对整个序列进行分类，而不是每个标记进行分类）。在使用特殊标记构建时，它是序列的第一个标记。
  
• mask_token (str, optional, defaults to "[MASK]") — 用于屏蔽值的标记。在使用遮罩语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
  
• tokenize_chinese_chars (bool, optional, defaults to True) — 是否对中文字符进行标记化。
  这可能应该在日语中停用（请参阅此问题）。
  
• strip_accents (bool, optional) — 是否去除所有重音符号。如果未指定此选项，则将由lowercase的值确定（与原始 SqueezeBERT 相同）。
  

构建一个 SqueezeBERT 分词器。基于 WordPiece。

此分词器继承自 PreTrainedTokenizer，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0 (List[int]) — 将添加特殊标记的 ID 列表。
  
• token_ids_1 (List[int], optional) — 序列对的可选第二个 ID 列表。
  

返回

List[int]

带有适当特殊标记的输入 ID 列表。

通过连接和添加特殊标记构建用于序列分类任务的序列或序列对的模型输入。SqueezeBERT 序列的格式如下：

• 单个序列：[CLS] X [SEP]
  
• 序列对：[CLS] A [SEP] B [SEP]
  

get_special_tokens_mask

<来源>

( token_ids_0: List token_ids_1: Optional = None already_has_special_tokens: bool = False ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0 (List[int]) — ID 列表。
  
• token_ids_1 (List[int], optional) — 序列对的可选第二个 ID 列表。
  
• already_has_special_tokens (bool, optional, defaults to False) — 标记列表是否已经使用特殊标记格式化为模型。
  

返回

List[int]

一个整数列表，范围为[0, 1]：1 表示特殊标记，0 表示序列标记。

从没有添加特殊标记的标记列表中检索序列 ID。在使用分词器prepare_for_model方法添加特殊标记时调用此方法。

create_token_type_ids_from_sequences

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0 (List[int]) — ID 列表。
  
• token_ids_1 (List[int], optional) — 序列对的可选第二个 ID 列表。
  

返回

List[int]

根据给定序列的标记类型 ID 列表。

从传递的两个序列创建一个用于序列对分类任务的掩码。一个 SqueezeBERT 序列

对掩码的格式如下：

0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1
| first sequence    | second sequence |

如果 token_ids_1 是 None，则此方法仅返回掩码的第一部分（0s）。

save_vocabulary

<来源>

( save_directory: str filename_prefix: Optional = None )

SqueezeBertTokenizerFast

class transformers.SqueezeBertTokenizerFast

<来源>

( vocab_file = None tokenizer_file = None do_lower_case = True unk_token = '[UNK]' sep_token = '[SEP]' pad_token = '[PAD]' cls_token = '[CLS]' mask_token = '[MASK]' tokenize_chinese_chars = True strip_accents = None **kwargs )

参数

• vocab_file (str) — 包含词汇表的文件。
  
• do_lower_case (bool, optional, 默认为 True) — 在分词时是否将输入转换为小写。
  
• unk_token (str, optional, 默认为 "[UNK]") — 未知标记。词汇表中没有的标记无法转换为 ID，而是设置为此标记。
  
• sep_token (str, optional, 默认为 "[SEP]") — 分隔符标记，在构建来自多个序列的序列时使用，例如用于序列分类的两个序列或用于文本和问题的问题回答。它还用作使用特殊标记构建的序列的最后一个标记。
  
• pad_token (str, optional, 默认为 "[PAD]") — 用于填充的标记，例如在批处理不同长度的序列时使用。
  
• cls_token (str, optional, 默认为 "[CLS]") — 分类器标记，用于进行序列分类（对整个序列进行分类而不是对每个标记进行分类）。当使用特殊标记构建序列时，它是序列的第一个标记。
  
• mask_token (str, optional, 默认为 "[MASK]") — 用于屏蔽值的标记。这是在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
  
• clean_text (bool, optional, 默认为 True) — 在分词之前是否清理文本，通过删除任何控制字符并将所有空格替换为经典空格。
  
• tokenize_chinese_chars (bool, optional, 默认为 True) — 是否对中文字符进行分词。这可能应该在日语中停用（参见此问题）。
  
• strip_accents (bool, optional) — 是否去除所有重音符号。如果未指定此选项，则将由 lowercase 的值确定（与原始 SqueezeBERT 相同）。
  
• wordpieces_prefix (str, optional, 默认为 "##") — 子词的前缀。
  

构建一个“快速”SqueezeBERT 分词器（由 HuggingFace 的 tokenizers 库支持）。基于 WordPiece。

此分词器继承自 PreTrainedTokenizerFast，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

<来源>

( token_ids_0 token_ids_1 = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0 (List[int]) — 将添加特殊标记的 ID 列表。
  
• token_ids_1 (List[int], optional) — 可选的第二个 ID 列表，用于序列对。
  

返回

List[int]

具有适当特殊标记的输入 ID 列表。

通过连接和添加特殊标记从序列或序列对构建用于序列分类任务的模型输入。SqueezeBERT 序列具有以下格式：

• 单个序列：[CLS] X [SEP]
  
• 序列对：[CLS] A [SEP] B [SEP]
  

create_token_type_ids_from_sequences

<来源>

( token_ids_0: List token_ids_1: Optional = None ) → export const metadata = 'undefined';List[int]

参数

• token_ids_0 (List[int]) — ID 列表。
  
• token_ids_1 (List[int], optional) — 可选的第二个 ID 列表，用于序列对。
  

返回

List[int]

根据给定序列的标记类型 ID 列表。

从传递的两个序列创建一个用于序列对分类任务的掩码。一个 SqueezeBERT 序列

对对掩码具有以下格式：

0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1
| first sequence    | second sequence |

如果token_ids_1为None，则此方法仅返回掩码的第一部分（0）。

Transformers 4.37 中文文档（五十八）（4）https://developer.aliyun.com/article/1565266