Transformers 4.37 中文文档（二十五）（4）-阿里云开发者社区

Transformers 4.37 中文文档（二十五）（3）https://developer.aliyun.com/article/1563793

BLOOM

原文: huggingface.co/docs/transformers/v4.37.2/en/model_doc/bloom

概览

BLOOM 模型是通过 BigScience Workshop 提出的，通过其各种版本。BigScience 受到其他开放科学倡议的启发，研究人员共同投入时间和资源，以共同实现更高的影响力。BLOOM 的架构与 GPT3 基本相似（用于下一个令牌预测的自回归模型），但已在 46 种不同语言和 13 种编程语言上进行了训练。在相同数据集上训练了几个较小版本的模型。BLOOM 提供以下版本:

资源

官方 Hugging Face 和社区资源（由 🌎 表示）的列表，可帮助您开始使用 BLOOM。如果您有兴趣提交资源以包含在此处，请随时提出拉取请求，我们将对其进行审查！资源应该理想地展示一些新内容，而不是重复现有资源。

文本生成

BloomForCausalLM 受到这个因果语言建模示例脚本和笔记本的支持。

另请参阅:

因果语言建模任务指南
文本分类任务指南
标记分类任务指南
问答任务指南

⚡️ 推理

关于优化故事: Bloom 推理的博客。
关于使用 DeepSpeed 和 Accelerate 实现极快的 BLOOM 推理的博客。

⚙️ 训练

关于 BLOOM 训练背后的技术的博客。

BloomConfig

`class transformers.BloomConfig`

< 源代码 >

( vocab_size = 250880 hidden_size = 64 n_layer = 2 n_head = 8 layer_norm_epsilon = 1e-05 initializer_range = 0.02 use_cache = True bos_token_id = 1 eos_token_id = 2 apply_residual_connection_post_layernorm = False hidden_dropout = 0.0 attention_dropout = 0.0 pretraining_tp = 1 slow_but_exact = False **kwargs )

参数

vocab_size (int, 可选, 默认为 250880) — Bloom 模型的词汇大小。定义了在调用 BloomModel 时可以表示的不同令牌的最大数量。查看关于如何定义 vocab_size 的讨论。
hidden_size (int, 可选, 默认为 64) — 嵌入和隐藏状态的维度。
n_layer (int, 可选, 默认为 2) — Transformer 编码器中的隐藏层数量。
n_head (int, 可选, 默认为 8) — Transformer 编码器中每个注意力层的注意力头数量。
layer_norm_epsilon (float, 可选, 默认为 1e-5) — 在层规范化层中使用的 epsilon。
initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
apply_residual_connection_post_layernorm (bool, 可选, 默认为 False) — 如果启用，则在 transformer 块中使用隐藏状态的层规范作为残差。
hidden_dropout (float，可选，默认为 0.1) — 在偏置丢失上的丢失函数的丢失率。
attention_dropout (float，可选，默认为 0.1) — 应用于注意力概率的丢失率
use_cache (bool，可选，默认为True) — 模型是否应返回最后的键/值注意力（并非所有模型都使用）。
pretraining_tp (int，可选，默认为1) — 实验性功能。在 Megatron 预训练期间使用的张量并行等级。请参考此文档以了解更多信息。此值对于确保预训练结果的精确可重现性是必要的。请参考此问题。还请注意，仅当slow_but_exact=True时才启用此功能。
slow_but_exact (bool，可选，默认为False) — 实验性功能。是否使用注意力机制的缓慢但精确实现。在合并 TP 等级张量时，由于切片操作，Megatron 训练的模型和我们的模型之间的结果可能略有不同。请参考此问题。获得更准确结果的解决方案是启用此功能。启用此功能将影响推理的计算时间。一旦主模型使用 TP_rank=1 进行微调，可能会在未来解决。

这是用于存储 BloomModel 配置的配置类。它用于根据指定的参数实例化 Bloom 模型，定义模型架构。使用默认值实例化配置将产生类似于 Bloom 架构bigscience/bloom的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读来自 PretrainedConfig 的文档以获取更多信息。

示例：

>>> from transformers import BloomConfig, BloomModel
>>> # Initializing a Bloom configuration
>>> configuration = BloomConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = BloomModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

BloomTokenizerFast

`class transformers.BloomTokenizerFast`

<来源>

( vocab_file = None merges_file = None tokenizer_file = None unk_token = '<unk>' bos_token = '<s>' eos_token = '</s>' pad_token = '<pad>' add_prefix_space = False clean_up_tokenization_spaces = False **kwargs )

参数

vocab_file (str) — 词汇文件的路径。
merges_file (str) — 合并文件的路径。
errors (str，可选，默认为"replace") — 解码字节为 UTF-8 时要遵循的范例。有关更多信息，请参阅bytes.decode。
unk_token（str，optional，默认为<|endoftext|>）–未知令牌。词汇表中没有的令牌无法转换为 ID，而是设置为该令牌。
bos_token（str，optional，默认为<|endoftext|>）–序列标记的开头。
eos_token（str，optional，默认为<|endoftext|>）–序列结束标记。
add_prefix_space (bool，可选，默认为False) — 是否在输入中添加初始空格。这允许将前导单词视为任何其他单词。（Bloom 分词器通过前面的空格检测单词的开头）。
trim_offsets (bool，可选，默认为True) — 后处理步骤是否应该修剪偏移量以避免包含空格。

构建一个“快速”Bloom 分词器（由 HuggingFace 的tokenizers库支持）。基于字节级字节对编码。

这个分词器已经训练成将空格视为标记的一部分（有点像 sentencepiece），因此一个单词将

在句子开头（无空格）或不在句子开头时，可能以不同方式编码：

>>> from transformers import BloomTokenizerFast
>>> tokenizer = BloomTokenizerFast.from_pretrained("bigscience/bloom")
>>> tokenizer("Hello world")["input_ids"]
[59414, 8876]
>>> tokenizer(" Hello world")["input_ids"]
[86153, 8876]

您可以通过在实例化此分词器时传递add_prefix_space=True来避免这种行为，但由于模型不是以这种方式进行预训练的，因此可能会导致性能下降。

当与is_split_into_words=True一起使用时，此分词器需要使用add_prefix_space=True进行实例化。

此分词器继承自 PreTrainedTokenizerFast，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

PytorchHide Pytorch 内容

BloomModel

`class transformers.BloomModel`

<来源>

( config: BloomConfig )

参数

config (BloomConfig) — 模型的所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained()方法以加载模型权重。

裸的 Bloom 模型变压器输出原始隐藏状态，没有特定的头部在顶部。

此模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入等）。

此模型还是一个 PyTorch torch.nn.Module子类。将其用作常规的 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

`forward`

<来源>

( input_ids: Optional = None past_key_values: Optional = None attention_mask: Optional = None head_mask: Optional = None inputs_embeds: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None **deprecated_arguments ) → export const metadata = 'undefined';transformers.modeling_outputs.BaseModelOutputWithPastAndCrossAttentions or tuple(torch.FloatTensor)

参数

input_ids（形状为(batch_size, input_ids_length)的torch.LongTensor） — input_ids_length = sequence_length，如果past_key_values为None，否则为past_key_values[0][0].shape[2]（输入过去键值状态的序列长度）。词汇表中输入序列标记的索引。
如果使用了past_key_values，则只有那些没有计算过去的input_ids应该作为input_ids传递。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
什么是输入 ID？
past_key_values（长度为config.n_layers的Tuple[Tuple[torch.Tensor]]） — 包含由模型计算的预计算隐藏状态（注意力块中的键和值）（请参见下面的past_key_values输出）。可用于加速顺序解码。已经计算过去的input_ids的input_ids不应作为input_ids传递，因为它们已经被计算过。past_key_values的每个元素都是一个元组（past_key，past_value）：

past_key: [batch_size * num_heads, head_dim, kv_length]
past_value: [batch_size * num_heads, kv_length, head_dim]

attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选） — 用于避免在填充标记索引上执行注意力的掩码。掩码值选择在[0, 1]之间：

1 表示未被掩盖的标记，
0 表示被掩盖的标记。

什么是注意力掩码？
head_mask（形状为(num_heads,)或(num_layers, num_heads)的torch.FloatTensor，可选） — 用于使自注意力模块中选择的头部失效的掩码。掩码值选择在[0, 1]之间：

1 表示头部未被掩盖，
0 表示头部被masked。

inputs_embeds (torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，optional) — 可选择直接传递嵌入表示，而不是传递input_ids。如果您想要更多控制权，以便将input_ids索引转换为相关向量，而不是使用模型的内部嵌入查找矩阵，则这很有用。
如果使用past_key_values，可选择仅输入最后的inputs_embeds（参见past_key_values）。
use_cache (bool, optional) — 如果设置为True，则返回past_key_values键值状态，可用于加速解码（参见past_key_values）。
output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量中的attentions。
output_hidden_states (bool，optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量中的hidden_states。
return_dict (bool，optional) — 是否返回 ModelOutput 而不是普通元组。

transformers.modeling_outputs.BaseModelOutputWithPastAndCrossAttentions 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.BaseModelOutputWithPastAndCrossAttentions 或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False时）包含各种元素，取决于配置（BloomConfig）和输入。

last_hidden_state (torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)) — 模型最后一层的隐藏状态序列。
如果使用past_key_values，则仅输出形状为(batch_size, 1, hidden_size)的序列的最后一个隐藏状态。
past_key_values (tuple(tuple(torch.FloatTensor))，optional，当传递use_cache=True或config.use_cache=True时返回） — 长度为config.n_layers的tuple(torch.FloatTensor)元组，每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)的张量，如果config.is_encoder_decoder=True还有 2 个额外的形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)的张量。
包含预先计算的隐藏状态（自注意力块中的键和值，以及如果config.is_encoder_decoder=True还包括交叉注意力块中的键和值），可用于加速顺序解码（参见past_key_values输入）。
hidden_states (tuple(torch.FloatTensor)，optional，当传递output_hidden_states=True或config.output_hidden_states=True时返回） — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（如果模型具有嵌入层，则为嵌入输出的输出 + 每层的输出）。
模型在每一层输出的隐藏状态加上可选的初始嵌入输出。
attentions (tuple(torch.FloatTensor)，optional，当传递output_attentions=True或config.output_attentions=True时返回） — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
cross_attentions（tuple(torch.FloatTensor)，可选，当output_attentions=True和config.add_cross_attention=True传递或config.output_attentions=True时返回）- 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
解码器的交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均值。

BloomModel 的前向方法，覆盖__call__特殊方法。

尽管前向传递的步骤需要在此函数内定义，但应该在此之后调用Module实例，而不是这个，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoTokenizer, BloomModel
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("bigscience/bloom-560m")
>>> model = BloomModel.from_pretrained("bigscience/bloom-560m")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state

BloomForCausalLM

`class transformers.BloomForCausalLM`

<来源>

( config: BloomConfig )

参数

config（BloomConfig）- 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关联的权重，只会加载配置。查看 from_pretrained()方法以加载模型权重。

具有顶部语言建模头的 Bloom 模型变压器（线性层，其权重与输入嵌入相关联）。

此模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（例如下载或保存，调整输入嵌入等）。

此模型也是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

`forward`

<来源>

( input_ids: Optional = None past_key_values: Optional = None attention_mask: Optional = None head_mask: Optional = None inputs_embeds: Optional = None labels: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None **deprecated_arguments ) → export const metadata = 'undefined';transformers.modeling_outputs.CausalLMOutputWithCrossAttentions or tuple(torch.FloatTensor)

参数

input_ids（形状为(batch_size, input_ids_length)的torch.LongTensor）- 如果past_key_values为None，则input_ids_length=sequence_length，否则为past_key_values[0][0].shape[2]（输入过去键值状态的序列长度）。词汇表中输入序列标记的索引。
如果使用了past_key_values，则只应将未计算其过去的input_ids作为input_ids传递。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
什么是输入 ID？
past_key_values（长度为config.n_layers的Tuple[Tuple[torch.Tensor]]）- 包含由模型计算的预计算隐藏状态（注意力块中的键和值）（请参见下面的past_key_values输出）。可用于加速顺序解码。已将其过去给定给此模型的input_ids不应作为input_ids传递，因为它们已经计算过。past_key_values的每个元素都是一个元组（past_key，past_value）：

过去键：[batch_size * num_heads, head_dim, kv_length]
过去值：[batch_size * num_heads, kv_length, head_dim]

attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）- 用于避免在填充标记索引上执行注意力的掩码。选择的掩码值在[0, 1]中：

对于未被掩码的标记为 1，
0 表示被掩码的标记。

什么是注意力掩码？
head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于使自注意力模块的选定头部失效的掩码。掩码值在 [0, 1] 中选择：

1 表示头部是未被掩码的，
0 表示头部是被掩码的。

inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 可选地，您可以选择直接传递嵌入表示而不是传递 input_ids。如果您想要更多控制如何将 input_ids 索引转换为相关向量，这将非常有用，而不是使用模型的内部嵌入查找矩阵。
如果使用了 past_key_values，则可能只需输入最后的 inputs_embeds（参见 past_key_values）。
use_cache (bool, optional) — 如果设置为 True，则返回 past_key_values 键值状态，并可用于加速解码（参见 past_key_values）。
output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
return_dict (bool, optional) — 是否返回一个 ModelOutput 而不是一个普通元组。
labels (torch.LongTensor of shape (batch_size, sequence_length), optional) — 语言建模的标签。请注意，模型内部已经进行了偏移，即您可以设置 labels = input_ids。索引在 [-100, 0, ..., config.vocab_size] 中选择。所有设置为 -100 的标签都将被忽略（掩码），损失仅计算 [0, ..., config.vocab_size] 中的标签。

返回值

transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含根据配置（BloomConfig）和输入的不同元素。

loss (torch.FloatTensor of shape (1,), optional, 当提供了 labels 时返回) — 语言建模损失（用于下一个标记预测）。
logits (torch.FloatTensor of shape (batch_size, sequence_length, config.vocab_size)) — 语言建模头部的预测分数（SoftMax 之前每个词汇标记的分数）。
hidden_states (tuple(torch.FloatTensor), optional, 当传递了 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入的输出，如果模型有一个嵌入层，+ 一个用于每一层的输出）。
每一层模型的隐藏状态以及可选的初始嵌入输出。
attentions (tuple(torch.FloatTensor), optional, 当传递了 output_attentions=True 或当 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每层一个）。
在注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
cross_attentions（tuple(torch.FloatTensor)，可选，当传递output_attentions=True或config.output_attentions=True时返回）- 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
在注意力 softmax 之后的交叉注意力权重，用于计算交叉注意力头中的加权平均值。
past_key_values（tuple(tuple(torch.FloatTensor))，可选，当传递use_cache=True或config.use_cache=True时返回）- 长度为config.n_layers的torch.FloatTensor元组的元组，每个元组包含自注意力和交叉注意力层的缓存键、值状态，如果模型在编码器-解码器设置中使用，则相关。仅在config.is_decoder = True时相关。
包含预先计算的隐藏状态（注意力块中的键和值），可用于加速顺序解码。

BloomForCausalLM 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的方法需要在此函数内定义，但应该在此之后调用Module实例，而不是这个，因为前者负责运行前后处理步骤，而后者会默默地忽略它们。

示例：

>>> import torch
>>> from transformers import AutoTokenizer, BloomForCausalLM
>>> tokenizer = AutoTokenizer.from_pretrained("bigscience/bloom-560m")
>>> model = BloomForCausalLM.from_pretrained("bigscience/bloom-560m")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs, labels=inputs["input_ids"])
>>> loss = outputs.loss
>>> logits = outputs.logits

Transformers 4.37 中文文档（二十五）（5）https://developer.aliyun.com/article/1563796

Transformers 4.37 中文文档（二十五）（4）

BLOOM

概览

资源

BloomConfig

`class transformers.BloomConfig`

BloomTokenizerFast

`class transformers.BloomTokenizerFast`

BloomModel

`class transformers.BloomModel`

`forward`

BloomForCausalLM

`class transformers.BloomForCausalLM`

`forward`

热门文章

最新文章

相关课程

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

Transformers 4.37 中文文档（二十五）（4）

BLOOM

概览

资源

BloomConfig

class transformers.BloomConfig

BloomTokenizerFast

class transformers.BloomTokenizerFast

BloomModel

class transformers.BloomModel

forward

BloomForCausalLM

class transformers.BloomForCausalLM

forward

热门文章

最新文章

相关课程

相关电子书

`class transformers.BloomConfig`

`class transformers.BloomTokenizerFast`

`class transformers.BloomModel`

`forward`

`class transformers.BloomForCausalLM`

`forward`