Transformers 4.37 中文文档（四十一）（6）-阿里云开发者社区

Transformers 4.37 中文文档（四十一）（5）https://developer.aliyun.com/article/1565237

LukeForEntityClassification

`class transformers.LukeForEntityClassification`

( config )

参数

config（LukeConfig）— 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

LUKE 模型在顶部有一个分类头（在第一个实体标记的隐藏状态上有一个线性层）用于实体分类任务，如 Open Entity。

该模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（如下载或保存、调整输入嵌入、修剪头等）。

该模型也是 PyTorch torch.nn.Module的子类。将其用作常规的 PyTorch 模块，并参考 PyTorch 文档以获取与一般用法和行为相关的所有内容。

`forward`

<来源>

( input_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None entity_ids: Optional = None entity_attention_mask: Optional = None entity_token_type_ids: Optional = None entity_position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.models.luke.modeling_luke.EntityClassificationOutput or tuple(torch.FloatTensor)

参数

input_ids（形状为(batch_size, sequence_length)的torch.LongTensor）— 输入序列标记在词汇表中的索引。
可以使用 AutoTokenizer 获取索引。查看 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()获取详细信息。
什么是输入 ID？
attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）— 用于避免在填充标记索引上执行注意力的掩码。掩码值在[0, 1]中选择：

1 代表未被“掩盖”的标记，
0 代表被“掩盖”的标记。

什么是注意力掩码？
token_type_ids（形状为(batch_size, sequence_length)的torch.LongTensor，可选）— 段标记索引，指示输入的第一部分和第二部分。索引在[0, 1]中选择：

0 对应于句子 A标记。
1 对应于句子 B标记。

什么是标记类型 ID？
position_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 每个输入序列标记在位置嵌入中的位置索引。选择范围为[0, config.max_position_embeddings - 1]。
什么是位置 ID？
entity_ids (torch.LongTensor of shape (batch_size, entity_length)) — 实体词汇表中实体标记的索引。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参见 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
entity_attention_mask (torch.FloatTensor of shape (batch_size, entity_length), optional) — 避免在填充实体标记索引上执行注意力的掩码。选择的掩码值在[0, 1]中：

1 表示未被masked的实体标记，
0 表示被masked的实体标记。

entity_token_type_ids (torch.LongTensor of shape (batch_size, entity_length), optional) — 段标记索引，指示实体标记输入的第一部分和第二部分。索引在[0, 1]中选择：

0 对应于部分 A实体标记，
1 对应于部分 B实体标记。

entity_position_ids (torch.LongTensor of shape (batch_size, entity_length, max_mention_length), optional) — 每个输入实体在位置嵌入中的位置索引。选择范围为[0, config.max_position_embeddings - 1]。
inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 可选地，您可以直接传递嵌入表示，而不是传递input_ids。如果您想要更多控制权来将input_ids索引转换为相关向量，这将非常有用，而不是使用模型的内部嵌入查找矩阵。
head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于使自注意力模块中的选定头部失效的掩码。选择的掩码值在[0, 1]中：

1 表示头部未被masked，
0 表示头部被masked。

output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的attentions。
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的hidden_states。
return_dict (bool, optional) — 是否返回一个 ModelOutput 而不是一个普通元组。
labels (torch.LongTensor of shape (batch_size,) or (batch_size, num_labels), optional) — 用于计算分类损失的标签。如果形状为(batch_size,)，则单标签分类使用交叉熵损失。在这种情况下，标签应包含应在[0, ..., config.num_labels - 1]中的索引。如果形状为(batch_size, num_labels)，则多标签分类使用二元交叉熵损失。在这种情况下，标签应只包含[0, 1]，其中 0 和 1 分别表示 false 和 true。

transformers.models.luke.modeling_luke.EntityClassificationOutput或tuple(torch.FloatTensor)

一个transformers.models.luke.modeling_luke.EntityClassificationOutput或一个torch.FloatTensor元组（如果传递了return_dict=False或config.return_dict=False时）包含根据配置（LukeConfig）和输入而异的各种元素。

loss (torch.FloatTensor of shape (1,), optional, returned when labels is provided) — 分类损失。
logits (torch.FloatTensor，形状为(batch_size, config.num_labels)) — 分类分数（SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor), 可选的, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个层的输出）。模型在每个层的输出的隐藏状态加上初始嵌入输出。
entity_hidden_states (tuple(torch.FloatTensor), 可选的, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, entity_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出 + 一个用于每个层的输出）。模型在每个层的输出的实体隐藏状态加上初始实体嵌入输出。
attentions (tuple(torch.FloatTensor), 可选的, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每个层一个）。注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

LukeForEntityClassification 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的配方需要在此函数内定义，但应该在此之后调用Module实例，而不是在此处调用，因为前者会负责运行前处理和后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoTokenizer, LukeForEntityClassification
>>> tokenizer = AutoTokenizer.from_pretrained("studio-ousia/luke-large-finetuned-open-entity")
>>> model = LukeForEntityClassification.from_pretrained("studio-ousia/luke-large-finetuned-open-entity")
>>> text = "Beyoncé lives in Los Angeles."
>>> entity_spans = [(0, 7)]  # character-based entity span corresponding to "Beyoncé"
>>> inputs = tokenizer(text, entity_spans=entity_spans, return_tensors="pt")
>>> outputs = model(**inputs)
>>> logits = outputs.logits
>>> predicted_class_idx = logits.argmax(-1).item()
>>> print("Predicted class:", model.config.id2label[predicted_class_idx])
Predicted class: person

LukeForEntityPairClassification

`class transformers.LukeForEntityPairClassification`

<来源>

( config )

参数

config (LukeConfig) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained()方法以加载模型权重。

LUKE 模型在顶部具有分类头（两个实体标记的隐藏状态上的线性层）用于实体对分类任务，如 TACRED。

该模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（如下载或保存、调整输入嵌入、修剪头等）。

该模型也是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取与一般用法和行为相关的所有事项。

`forward`

<来源>

( input_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None entity_ids: Optional = None entity_attention_mask: Optional = None entity_token_type_ids: Optional = None entity_position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.models.luke.modeling_luke.EntityPairClassificationOutput or tuple(torch.FloatTensor)

参数

input_ids (torch.LongTensor，形状为(batch_size, sequence_length)) — 词汇表中输入序列标记的索引。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
什么是输入 ID？
attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）- 用于避免在填充标记索引上执行注意力的掩码。掩码值在[0, 1]中选择：

1 表示未被屏蔽的标记，
0 表示被屏蔽的标记。

什么是注意力掩码？
token_type_ids（形状为(batch_size, sequence_length)的torch.LongTensor，可选）- 指示输入的第一部分和第二部分的段标记索引。索引在[0, 1]中选择：

0 对应于句子 A标记，
1 对应于句子 B标记。

什么是标记类型 ID？
position_ids（形状为(batch_size, sequence_length)的torch.LongTensor，可选）- 每个输入序列标记在位置嵌入中的位置索引。在范围[0, config.max_position_embeddings - 1]中选择。
什么是位置 ID？
entity_ids（形状为(batch_size, entity_length)的torch.LongTensor）- 实体词汇中实体标记的索引。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
entity_attention_mask（形状为(batch_size, entity_length)的torch.FloatTensor，可选）- 用于避免在填充实体标记索引上执行注意力的掩码。掩码值在[0, 1]中选择：

1 表示未被屏蔽的实体标记，
0 表示被屏蔽的实体标记。

entity_token_type_ids（形状为(batch_size, entity_length)的torch.LongTensor，可选）- 指示实体标记输入的第一部分和第二部分的段标记索引。索引在[0, 1]中选择：

0 对应于部分 A实体标记，
1 对应于部分 B实体标记。

entity_position_ids（形状为(batch_size, entity_length, max_mention_length)的torch.LongTensor，可选）- 每个输入实体在位置嵌入中的位置索引。在范围[0, config.max_position_embeddings - 1]中选择。
inputs_embeds（形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可选）- 可选地，您可以直接传递嵌入表示，而不是传递input_ids。如果您想要更多控制如何将input_ids索引转换为相关向量，这将非常有用，而不是使用模型的内部嵌入查找矩阵。
head_mask（形状为(num_heads,)或(num_layers, num_heads)的torch.FloatTensor，可选）- 用于使自注意力模块的选定头部失效的掩码。掩码值在[0, 1]中选择：

1 表示头部未被屏蔽，
0 表示头部被屏蔽。

output_attentions（bool，可选）- 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。
output_hidden_states（bool，可选）- 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。
return_dict（bool，可选）- 是否返回一个 ModelOutput 而不是一个普通元组。
labels (torch.LongTensor，形状为(batch_size,)或(batch_size, num_labels)，optional) — 用于计算分类损失的标签。如果形状为(batch_size,)，则用于单标签分类的交叉熵损失。在这种情况下，标签应包含应在[0, ..., config.num_labels - 1]中的索引。如果形状为(batch_size, num_labels)，则用于多标签分类的二元交叉熵损失。在这种情况下，标签应只包含[0, 1]，其中 0 和 1 分别表示 false 和 true。

transformers.models.luke.modeling_luke.EntityPairClassificationOutput或tuple(torch.FloatTensor)

一个transformers.models.luke.modeling_luke.EntityPairClassificationOutput或一个torch.FloatTensor元组（如果传递return_dict=False或config.return_dict=False）包含根据配置(LukeConfig)和输入的不同元素。

loss (torch.FloatTensor，形状为(1,)，optional，当提供labels时返回) — 分类损失。
logits (torch.FloatTensor，形状为(batch_size, config.num_labels)) — SoftMax 之前的分类分数。
hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组。每层输出的模型隐藏状态加上初始嵌入输出。
entity_hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, entity_length, hidden_size)的torch.FloatTensor元组。每层输出的实体隐藏状态加上初始实体嵌入输出。
attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组。注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

LukeyForEntityPairClassification 的前向方法，覆盖__call__特殊方法。

虽然前向传递的步骤需要在此函数内定义，但应该在此之后调用Module实例，而不是在此处调用，因为前者会处理运行前后处理步骤，而后者会默默忽略它们。

示例：

>>> from transformers import AutoTokenizer, LukeForEntityPairClassification
>>> tokenizer = AutoTokenizer.from_pretrained("studio-ousia/luke-large-finetuned-tacred")
>>> model = LukeForEntityPairClassification.from_pretrained("studio-ousia/luke-large-finetuned-tacred")
>>> text = "Beyoncé lives in Los Angeles."
>>> entity_spans = [
...     (0, 7),
...     (17, 28),
... ]  # character-based entity spans corresponding to "Beyoncé" and "Los Angeles"
>>> inputs = tokenizer(text, entity_spans=entity_spans, return_tensors="pt")
>>> outputs = model(**inputs)
>>> logits = outputs.logits
>>> predicted_class_idx = logits.argmax(-1).item()
>>> print("Predicted class:", model.config.id2label[predicted_class_idx])
Predicted class: per:cities_of_residence

LukeForEntitySpanClassification

`class transformers.LukeForEntitySpanClassification`

<来源>

( config )

参数

config (LukeConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained()方法以加载模型权重。

LUKE 模型，顶部带有一个跨度分类头（隐藏状态输出的线性层），用于命名实体识别等任务。

该模型继承自 PreTrainedModel。检查超类文档以获取库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入、修剪头等）。

该模型还是一个 PyTorch torch.nn.Module子类。将其用作常规的 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

`forward`

<来源>

( input_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None entity_ids: Optional = None entity_attention_mask: Optional = None entity_token_type_ids: Optional = None entity_position_ids: Optional = None entity_start_positions: Optional = None entity_end_positions: Optional = None head_mask: Optional = None inputs_embeds: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → export const metadata = 'undefined';transformers.models.luke.modeling_luke.EntitySpanClassificationOutput or tuple(torch.FloatTensor)

参数

input_ids（形状为(batch_size, sequence_length)的torch.LongTensor）— 词汇表中输入序列标记的索引。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
什么是输入 ID？
attention_mask（形状为(batch_size, sequence_length)的torch.FloatTensor，可选）— 用于避免在填充标记索引上执行注意力的掩码。掩码值选在[0, 1]之间：

1 表示未被掩码的标记，
0 表示被掩码的标记。

什么是注意力掩码？
token_type_ids（形状为(batch_size, sequence_length)的torch.LongTensor，可选）— 指示输入的第一部分和第二部分的段标记索引。索引选在[0, 1]之间：

0 对应一个句子 A标记。
1 对应一个句子 B标记。

什么是标记类型 ID？
position_ids（形状为(batch_size, sequence_length)的torch.LongTensor，可选）— 每个输入序列标记在位置嵌入中的位置索引。选在范围[0, config.max_position_embeddings - 1]内。
什么是位置 ID？
entity_ids（形状为(batch_size, entity_length)的torch.LongTensor）— 实体词汇表中实体标记的索引。
可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
entity_attention_mask（形状为(batch_size, entity_length)的torch.FloatTensor，可选）— 用于避免在填充实体标记索引上执行注意力的掩码。掩码值选在[0, 1]之间：

1 表示未被掩码的实体标记，
0 表示被掩码的实体标记。

entity_token_type_ids（形状为(batch_size, entity_length)的torch.LongTensor，可选）— 指示实体标记输入的第一部分和第二部分的段标记索引。索引选在[0, 1]之间：

0 对应一个部分 A实体标记，
1 对应一个部分 B实体标记。

entity_position_ids（形状为(batch_size, entity_length, max_mention_length)的torch.LongTensor，可选）— 每个输入实体在位置嵌入中的位置索引。选在范围[0, config.max_position_embeddings - 1]内。
inputs_embeds（形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可选）— 可选地，您可以选择直接传递嵌入表示，而不是传递input_ids。如果您想要更多控制如何将input_ids索引转换为相关向量，而不是使用模型的内部嵌入查找矩阵，则这很有用。
head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选） — 用于使自注意力模块的选定头部失效的掩码。掩码值选定在 [0, 1]：

1 表示头部未被掩盖，
0 表示头部被掩盖。

output_attentions (bool，可选） — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
output_hidden_states (bool，可选） — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
return_dict (bool，可选） — 是否返回 ModelOutput 而不是普通元组。
entity_start_positions (torch.LongTensor) — 实体在单词标记序列中的起始位置。
entity_end_positions (torch.LongTensor) — 实体在单词标记序列中的结束位置。
labels (torch.LongTensor，形状为 (batch_size, entity_length) 或 (batch_size, entity_length, num_labels)，可选） — 用于计算分类损失的标签。如果形状为 (batch_size, entity_length)，则使用交叉熵损失进行单标签分类。在这种情况下，标签应包含应在 [0, ..., config.num_labels - 1] 中的索引。如果形状为 (batch_size, entity_length, num_labels)，则使用二元交叉熵损失进行多标签分类。在这种情况下，标签应只包含 [0, 1]，其中 0 和 1 分别表示 false 和 true。

transformers.models.luke.modeling_luke.EntitySpanClassificationOutput 或 tuple(torch.FloatTensor)

一个 transformers.models.luke.modeling_luke.EntitySpanClassificationOutput 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包括根据配置（LukeConfig）和输入的各种元素。

loss (torch.FloatTensor，形状为 (1,)，可选，当提供了 labels 时返回） — 分类损失。
logits (torch.FloatTensor，形状为 (batch_size, entity_length, config.num_labels)) — 分类分数（SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor)，可选，当传递了 output_hidden_states=True 或当 config.output_hidden_states=True 时返回） — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入的输出 + 一个用于每个层的输出）。模型在每个层的输出的隐藏状态加上初始嵌入输出。
entity_hidden_states (tuple(torch.FloatTensor)，可选，当传递了 output_hidden_states=True 或当 config.output_hidden_states=True 时返回） — 形状为 (batch_size, entity_length, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入的输出 + 一个用于每个层的输出）。模型在每个层的输出的实体隐藏状态加上初始实体嵌入输出。
attentions (tuple(torch.FloatTensor)，可选，当传递了 output_attentions=True 或当 config.output_attentions=True 时返回） — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

LukeyForEntitySpanClassification 的前向方法，覆盖了 __call__ 特殊方法。

虽然前向传递的配方需要在此函数内定义，但应该在此之后调用 Module 实例，而不是这个，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。

示例：

>>> from transformers import AutoTokenizer, LukeForEntitySpanClassification
>>> tokenizer = AutoTokenizer.from_pretrained("studio-ousia/luke-large-finetuned-conll-2003")
>>> model = LukeForEntitySpanClassification.from_pretrained("studio-ousia/luke-large-finetuned-conll-2003")
>>> text = "Beyoncé lives in Los Angeles"
# List all possible entity spans in the text
>>> word_start_positions = [0, 8, 14, 17, 21]  # character-based start positions of word tokens
>>> word_end_positions = [7, 13, 16, 20, 28]  # character-based end positions of word tokens
>>> entity_spans = []
>>> for i, start_pos in enumerate(word_start_positions):
...     for end_pos in word_end_positions[i:]:
...         entity_spans.append((start_pos, end_pos))
>>> inputs = tokenizer(text, entity_spans=entity_spans, return_tensors="pt")
>>> outputs = model(**inputs)
>>> logits = outputs.logits
>>> predicted_class_indices = logits.argmax(-1).squeeze().tolist()
>>> for span, predicted_class_idx in zip(entity_spans, predicted_class_indices):
...     if predicted_class_idx != 0:
...         print(text[span[0] : span[1]], model.config.id2label[predicted_class_idx])
Beyoncé PER
Los Angeles LOC

Transformers 4.37 中文文档（四十一）（7）https://developer.aliyun.com/article/1565239

Transformers 4.37 中文文档（四十一）（6）

LukeForEntityClassification

`class transformers.LukeForEntityClassification`

`forward`

LukeForEntityPairClassification

`class transformers.LukeForEntityPairClassification`

`forward`

LukeForEntitySpanClassification

`class transformers.LukeForEntitySpanClassification`

`forward`

热门文章

最新文章

相关课程

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

Transformers 4.37 中文文档（四十一）（6）

LukeForEntityClassification

class transformers.LukeForEntityClassification

forward

LukeForEntityPairClassification

class transformers.LukeForEntityPairClassification

forward

LukeForEntitySpanClassification

class transformers.LukeForEntitySpanClassification

forward

热门文章

最新文章

相关课程

相关电子书

`class transformers.LukeForEntityClassification`

`forward`

`class transformers.LukeForEntityPairClassification`

`forward`

`class transformers.LukeForEntitySpanClassification`

`forward`