Transformers 4.37 中文文档（五十三）（2）

Transformers 4.37 中文文档（五十三）（1）https://developer.aliyun.com/article/1565357

Qwen2ForSequenceClassification

class transformers.Qwen2ForSequenceClassification

<来源>

( config )

参数

• config（Qwen2Config）- 模型的所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained()方法以加载模型权重。

Qwen2 模型变压器，顶部带有序列分类头（线性层）。

Qwen2ForSequenceClassification 使用最后一个标记进行分类，就像其他因果模型（例如 GPT-2）一样。

由于它对最后一个标记进行分类，因此需要知道最后一个标记的位置。如果在配置中定义了pad_token_id，则会找到每行中不是填充标记的最后一个标记。如果未定义pad_token_id，则会简单地取每行批次中的最后一个值。由于在传递inputs_embeds而不是input_ids时无法猜测填充标记，因此会执行相同操作（取每行批次中的最后一个值）。

此模型继承自 PreTrainedModel。查看超类文档以获取库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入、修剪头等）。

此模型也是 PyTorch torch.nn.Module子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有相关信息。

forward

<来源>

( input_ids: LongTensor = None attention_mask: Optional = None position_ids: Optional = None past_key_values: Optional = None inputs_embeds: Optional = None labels: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None )

参数

• input_ids（torch.LongTensor，形状为(batch_size, sequence_length)）- 词汇表中输入序列标记的索引。默认情况下，如果提供填充，则将忽略填充。
  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
  什么是输入 ID？
  
• attention_mask（torch.Tensor，形状为(batch_size, sequence_length)，可选）- 避免对填充标记索引执行注意力的掩码。掩码值选择在[0, 1]中：

• 1 表示标记是未掩码，
  
• 0 表示掩码的标记。
  

• 什么是注意力掩码？
  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
  如果使用了past_key_values，则可选择仅输入最后的decoder_input_ids（请参见past_key_values）。
  如果要更改填充行为，您应该阅读modeling_opt._prepare_decoder_attention_mask并根据需要进行修改。有关默认策略的更多信息，请参阅论文中的图表 1。
  

• 1 表示头部是未掩码，
  
• 0 表示头部是掩码。
  

• position_ids（torch.LongTensor，形状为(batch_size, sequence_length)，可选）- 输入序列标记在位置嵌入中的位置索引。在范围[0, config.n_positions - 1]中选择。
  什么是位置 ID？
  
• past_key_values（Cache或tuple(tuple(torch.FloatTensor))，可选）- 预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常包括模型在解码的先前阶段返回的past_key_values，当use_cache=True或config.use_cache=True时。允许两种格式：

• 一个 Cache 实例；
  
• 元组tuple(torch.FloatTensor)的长度为config.n_layers，每个元组有 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)的张量。这也被称为传统的缓存格式。
  

• 模型将输出与输入相同的缓存格式。如果没有传递past_key_values，则将返回传统的缓存格式。
  如果使用了past_key_values，用户可以选择仅输入最后的input_ids（即那些没有将它们的过去键值状态提供给该模型的输入）的形状为(batch_size, 1)，而不是形状为(batch_size, sequence_length)的所有input_ids。
  
• inputs_embeds（torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，可选）- 可选地，您可以选择直接传递嵌入表示，而不是传递input_ids。如果您希望更多地控制如何将input_ids索引转换为相关向量，而不是使用模型内部的嵌入查找矩阵，这将非常有用。
  
• use_cache（bool，可选）- 如果设置为True，将返回past_key_values键值状态，并可用于加速解码（请参见past_key_values）。
  
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的attentions。
  
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的hidden_states。
  
• return_dict (bool, optional) — 是否返回一个 ModelOutput 而不是一个普通的元组。
  
• labels (torch.LongTensor of shape (batch_size,), optional) — 用于计算序列分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]范围内。如果config.num_labels == 1，则计算回归损失（均方损失），如果config.num_labels > 1，则计算分类损失（交叉熵）。
  

Qwen2ForSequenceClassification 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的方法需要在此函数内定义，但应该在此之后调用Module实例，而不是在此处调用，因为前者会处理运行前后处理步骤，而后者会默默地忽略它们。

RAG

原始文本：huggingface.co/docs/transformers/v4.37.2/en/model_doc/rag

概述

检索增强生成（“RAG”）模型结合了预训练的密集检索（DPR）和序列到序列模型的能力。RAG 模型检索文档，将其传递给 seq2seq  模型，然后进行边缘化以生成输出。检索器和 seq2seq 模块是从预训练模型初始化的，并进行联合微调，使得检索和生成都能够适应下游任务。

基于论文Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks by Patrick Lewis, Ethan Perez, Aleksandara Piktus, Fabio Petroni,  Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau  Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela。

论文摘要如下：

已经证明，大型预训练语言模型在其参数中存储了事实知识，并且在下游自然语言处理任务上进行微调时取得了最先进的结果。然而，它们访问和精确操作知识的能力仍然有限，因此在知识密集型任务上，它们的性能落后于特定任务的架构。此外，为它们的决策提供来源并更新它们的世界知识仍然是一个开放的研究问题。具有可微分访问机制到显式非参数化内存的预训练模型可以解决这个问题，但迄今为止仅用于提取式下游任务进行了调查。我们探索了一种用于检索增强生成（RAG）的通用微调配方  — 这些模型结合了预训练的参数化和非参数化内存进行语言生成。我们介绍了 RAG 模型，其中参数化内存是一个预训练的 seq2seq  模型，非参数化内存是维基百科的密集向量索引，通过预训练的神经检索器访问。我们比较了两种 RAG  公式，一种是在整个生成序列中条件于相同的检索段落，另一种可以使用每个标记的不同段落。我们在广泛的知识密集型自然语言处理任务上对我们的模型进行微调和评估，并在三个开放领域问答任务上取得了最先进的成绩，优于参数化  seq2seq 模型和特定任务的检索和提取架构。对于语言生成任务，我们发现 RAG 模型生成比最先进的仅参数化 seq2seq  基线更具体、多样化和事实性的语言。

此模型由ola13贡献。

使用提示

检索增强生成（“RAG”）模型结合了预训练的密集检索（DPR）和 Seq2Seq 模型的能力。RAG 模型检索文档，将其传递给  seq2seq 模型，然后进行边缘化以生成输出。检索器和 seq2seq  模块是从预训练模型初始化的，并进行联合微调，使得检索和生成都能够适应下游任务。

RagConfig

class transformers.RagConfig

< source >

( vocab_size = None is_encoder_decoder = True prefix = None bos_token_id = None pad_token_id = None eos_token_id = None decoder_start_token_id = None title_sep = ' / ' doc_sep = ' // ' n_docs = 5 max_combined_length = 300 retrieval_vector_size = 768 retrieval_batch_size = 8 dataset = 'wiki_dpr' dataset_split = 'train' index_name = 'compressed' index_path = None passages_path = None use_dummy_dataset = False reduce_loss = False label_smoothing = 0.0 do_deduplication = True exclude_bos_score = False do_marginalize = False output_retrieved = False use_cache = True forced_eos_token_id = None **kwargs )

参数

• title_sep (str, 可选, 默认为" / ") — 在调用 RagRetriever 时插入在标题和检索到的文档文本之间的分隔符。
  
• doc_sep (str, 可选, 默认为" // ") — 在调用 RagRetriever 时插入在检索到的文档文本和原始输入之间的分隔符。
  
• n_docs (int, 可选, 默认为 5) — 要检索的文档数量。
  
• max_combined_length (int, 可选, 默认为 300) — __call__()返回的上下文化输入的最大长度。
  
• retrieval_vector_size (int, 可选, 默认为 768) — 由 RagRetriever 索引的文档嵌入的维度。
  
• retrieval_batch_size (int, 可选, 默认为 8) — 检索批量大小，定义为同时发出给封装的 faiss 索引的查询数量 RagRetriever。
  
• dataset (str, 可选, 默认为"wiki_dpr") — 在 HuggingFace Datasets 中索引数据集的数据集标识符（使用datasets.list_datasets()列出所有可用数据集和 ID）。
  
• dataset_split (str, 可选, 默认为"train") — 要加载的dataset的哪个拆分。
  
• index_name (str, 可选, 默认为"compressed") — 与dataset关联的索引的索引名称。可以在"legacy"、"exact"和"compressed"之间进行选择。
  
• index_path (str, 可选) — 磁盘上序列化 faiss 索引的路径。
  
• passages_path (str, 可选) — 与 faiss 索引兼容的文本段落的路径。如果使用LegacyIndex，则需要。
  
• use_dummy_dataset (bool, 可选, 默认为False) — 是否加载由dataset指定的数据集的“虚拟”变体。
  
• label_smoothing (float, 可选, 默认为 0.0) — 仅在return_loss设置为True时相关。控制损失计算中标签平滑的epsilon参数值。如果设置为 0，则不执行标签平滑。
  
• do_marginalize (bool, 可选, 默认为False) — 如果为True，则通过使用torch.nn.functional.log_softmax对所有文档的 logits 进行边际化。
  
• reduce_loss (bool, 可选, 默认为False) — 是否使用torch.Tensor.sum操作减少 NLL 损失。
  
• do_deduplication (bool, 可选, 默认为True) — 是否对给定输入的不同上下文文档的生成进行去重。如果在使用分布式后端进行训练时使用，必须将其设置为False。
  
• exclude_bos_score (bool, 可选, 默认为False) — 在计算损失时是否忽略 BOS 标记。
  
• output_retrieved(bool, 可选, 默认为False) — 如果设置为True，则返回retrieved_doc_embeds、retrieved_doc_ids、context_input_ids和context_attention_mask。查看返回的张量以获取更多详细信息。
  
• use_cache (bool, 可选, 默认为True) — 模型是否应返回最后的键/值注意力（并非所有模型都使用）。
  
• forced_eos_token_id (int, 可选) — 当达到max_length时，要强制作为最后生成的标记的标记 ID。通常设置为eos_token_id。
  

RagConfig 存储了RagModel的配置。配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读来自 PretrainedConfig 的文档以获取更多信息。

from_question_encoder_generator_configs

<来源>

( question_encoder_config: PretrainedConfig generator_config: PretrainedConfig **kwargs ) → export const metadata = 'undefined';EncoderDecoderConfig

返回

EncoderDecoderConfig

配置对象的一个实例

从预训练的编码器模型配置和解码器模型配置实例化一个 EncoderDecoderConfig（或派生类）。

RagTokenizer

class transformers.RagTokenizer

<来源>

( question_encoder generator )

Rag 特定输出

class transformers.models.rag.modeling_rag.RetrievAugLMMarginOutput

<来源>

( loss: Optional = None logits: FloatTensor = None doc_scores: FloatTensor = None past_key_values: Optional = None retrieved_doc_embeds: Optional = None retrieved_doc_ids: Optional = None context_input_ids: Optional = None context_attention_mask: Optional = None question_encoder_last_hidden_state: Optional = None question_enc_hidden_states: Optional = None question_enc_attentions: Optional = None generator_enc_last_hidden_state: Optional = None generator_enc_hidden_states: Optional = None generator_enc_attentions: Optional = None generator_dec_hidden_states: Optional = None generator_dec_attentions: Optional = None generator_cross_attentions: Optional = None )

参数

• loss (torch.FloatTensor of shape (1,), optional, 当提供labels时返回） — 语言建模损失。
  
• logits (torch.FloatTensor of shape (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数。该分数可能针对每个词汇标记在所有文档上进行边际化。
  
• doc_scores (torch.FloatTensor of shape (batch_size, config.n_docs)) — 检索到的文档嵌入（参见retrieved_doc_embeds）与question_encoder_last_hidden_state之间的分数。
  
• past_key_values (List[torch.FloatTensor], optional, 当传递use_cache=True或config.use_cache=True时返回） — 长度为config.n_layers的torch.FloatTensor列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。
  包含解码器的预计算隐藏状态（注意力块中的键和值），可用于加速顺序解码（参见past_key_values输入）。
  
• retrieved_doc_embeds (torch.FloatTensor of shape (batch_size, config.n_docs, hidden_size), optional, 当output_retrieved=True时返回） — 检索器检索到的嵌入文档。与question_encoder_last_hidden_state一起用于计算doc_scores。
  
• retrieved_doc_ids (torch.LongTensor of shape (batch_size, config.n_docs), optional, 当output_retrieved=True时返回） — 检索器检索到的嵌入文档的索引。
  
• context_input_ids (torch.LongTensor of shape (batch_size * config.n_docs, config.max_combined_length), optional, 当output_retrieved=True时返回） — 从检索文档和问题编码器input_ids后处理得到的输入 id。
  
• context_attention_mask (torch.LongTensor of shape (batch_size * config.n_docs, config.max_combined_length), optional, 当output_retrieved=True时返回） — 从检索文档和问题编码器input_ids后处理得到的注意力掩码。
  
• question_encoder_last_hidden_state (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 模型问题编码器汇总输出的最后一层的隐藏状态序列。
  
• question_enc_hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回） — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组。
  问题编码器每一层的输出隐藏状态以及初始嵌入输出。
  
• question_enc_attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回） — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组。
  问题编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  
• generator_enc_last_hidden_state (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 模型生成器编码器最后一层的隐藏状态序列。
  
• generator_enc_hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回） — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组。
  生成器编码器每一层的隐藏状态以及初始嵌入输出。
  
• generator_enc_attentions (tuple(torch.FloatTensor), 可选, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  生成器编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  
• generator_dec_hidden_states (tuple(torch.FloatTensor), 可选, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出，一个用于每层的输出）。
  生成器解码器在每一层输出的隐藏状态以及初始嵌入输出。
  
• generator_dec_attentions (tuple(torch.FloatTensor), 可选, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  生成器解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  
• generator_cross_attentions (tuple(torch.FloatTensor), 可选, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  生成器解码器的交叉注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均值。
  

用于检索器增强边际化模型输出的基类。

class transformers.models.rag.modeling_rag.RetrievAugLMOutput

<来源>

( logits: FloatTensor = None doc_scores: FloatTensor = None past_key_values: Optional = None retrieved_doc_embeds: Optional = None retrieved_doc_ids: Optional = None context_input_ids: Optional = None context_attention_mask: Optional = None question_encoder_last_hidden_state: Optional = None question_enc_hidden_states: Optional = None question_enc_attentions: Optional = None generator_enc_last_hidden_state: Optional = None generator_enc_hidden_states: Optional = None generator_enc_attentions: Optional = None generator_dec_hidden_states: Optional = None generator_dec_attentions: Optional = None generator_cross_attentions: Optional = None )

参数

• logits (torch.FloatTensor，形状为(batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数。该分数可能针对每个词汇标记在所有文档上进行边际化。
  
• doc_scores (torch.FloatTensor，形状为(batch_size, config.n_docs)) — 每个检索到的文档嵌入（参见retrieved_doc_embeds）与question_encoder_last_hidden_state之间的分数。
  
• past_key_values (List[torch.FloatTensor], 可选, 当传递use_cache=True或config.use_cache=True时返回) — 长度为config.n_layers的torch.FloatTensor列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。
  包含解码器的预计算隐藏状态（注意力块中的键和值），可用于加速顺序解码（参见past_key_values输入）。
  
• retrieved_doc_embeds (torch.FloatTensor，形状为(batch_size, config.n_docs, hidden_size)，可选，当output_retrieved=True时返回) — 检索器检索到的嵌入文档。与question_encoder_last_hidden_state一起用于计算doc_scores。
  
• retrieved_doc_ids (torch.LongTensor，形状为(batch_size, config.n_docs)，可选，当output_retrieved=True时返回) — 检索器检索到的嵌入文档的索引。
  
• context_input_ids (torch.LongTensor，形状为(batch_size * config.n_docs, config.max_combined_length)，可选，当output_retrieved=True时返回) — 从检索文档和检索器的问题编码器input_ids后处理得到的输入 id。
  
• context_attention_mask (torch.LongTensor，形状为(batch_size * config.n_docs, config.max_combined_length)，可选，当output_retrieved=True时返回) — 从检索文档和检索器的问题编码器input_ids后处理得到的注意力掩码。
  
• question_encoder_last_hidden_state (torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，optional) — 问题编码器最后一层的隐藏状态序列模型的汇聚输出。
  
• question_enc_hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出，一个用于每层的输出）。
  问题编码器在每一层输出的隐藏状态加上初始嵌入输出。
  
• question_enc_attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  问题编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  
• generator_enc_last_hidden_state (torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，optional) — 模型生成器编码器最后一层的隐藏状态序列。
  
• generator_enc_hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出，一个用于每层的输出）。
  生成器编码器在每一层输出的隐藏状态加上初始嵌入输出。
  
• generator_enc_attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  生成器编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  
• generator_dec_hidden_states (tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor元组（一个用于嵌入的输出，一个用于每层的输出）。
  生成器解码器在每一层输出的隐藏状态加上初始嵌入输出。
  
• generator_dec_attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  生成器解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
  
• generator_cross_attentions (tuple(torch.FloatTensor), optional, 当传递output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元组（每层一个）。
  生成器解码器的交叉注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均值。
  

RagRetriever

class transformers.RagRetriever

< source >

( config question_encoder_tokenizer generator_tokenizer index = None init_retrieval = True )

参数

• config（RagConfig）— 用于 RAG 模型的 Retriever 的配置。包含指示要构建哪个Index的参数。您可以使用config.index_name="custom"加载自己的自定义数据集，或者使用数据集库中的一个规范的数据集（默认）例如config.index_name="wiki_dpr"。
  
• question_encoder_tokenizer（PreTrainedTokenizer）— 用于标记化问题的分词器。它用于解码问题，然后使用生成器的分词器。
  
• generator_tokenizer（PreTrainedTokenizer）— 用于 RagModel 生成器部分的分词器。
  
• index（Index，可选，默认为配置中定义的索引）— 如果指定，则使用此索引，而不是使用配置构建的索引
  

用于从向量查询获取文档的检索器。它检索文档嵌入以及文档内容，并将它们格式化以供 RagModel 使用。

示例：

>>> # To load the default "wiki_dpr" dataset with 21M passages from wikipedia (index name is 'compressed' or 'exact')
>>> from transformers import RagRetriever
>>> retriever = RagRetriever.from_pretrained(
...     "facebook/dpr-ctx_encoder-single-nq-base", dataset="wiki_dpr", index_name="compressed"
... )
>>> # To load your own indexed dataset built with the datasets library. More info on how to build the indexed dataset in examples/rag/use_own_knowledge_dataset.py
>>> from transformers import RagRetriever
>>> dataset = (
...     ...
... )  # dataset must be a datasets.Datasets object with columns "title", "text" and "embeddings", and it must have a faiss index
>>> retriever = RagRetriever.from_pretrained("facebook/dpr-ctx_encoder-single-nq-base", indexed_dataset=dataset)
>>> # To load your own indexed dataset built with the datasets library that was saved on disk. More info in examples/rag/use_own_knowledge_dataset.py
>>> from transformers import RagRetriever
>>> dataset_path = "path/to/my/dataset"  # dataset saved via *dataset.save_to_disk(...)*
>>> index_path = "path/to/my/index.faiss"  # faiss index saved via *dataset.get_index("embeddings").save(...)*
>>> retriever = RagRetriever.from_pretrained(
...     "facebook/dpr-ctx_encoder-single-nq-base",
...     index_name="custom",
...     passages_path=dataset_path,
...     index_path=index_path,
... )
>>> # To load the legacy index built originally for Rag's paper
>>> from transformers import RagRetriever
>>> retriever = RagRetriever.from_pretrained("facebook/dpr-ctx_encoder-single-nq-base", index_name="legacy")

init_retrieval

< source >

( )

检索器初始化函数。将索引加载到内存中。

postprocess_docs

< source >

( docs input_strings prefix n_docs return_tensors = None ) → export const metadata = 'undefined';tuple(tensors)

参数

• docs（dict）— 检索到的文档。
  
• input_strings（str）— 由preprocess_query解码的输入字符串。
  
• prefix（str）— 添加到每个输入开头的前缀，通常与基于 T5 的模型一起使用。
  

返回

tuple(tensors)

一个包含两个元素的元组：上下文化的input_ids和一个兼容的attention_mask。

后处理检索到的docs并将它们与input_strings组合。

retrieve

< source >

( question_hidden_states: ndarray n_docs: int ) → export const metadata = 'undefined';Tuple[np.ndarray, np.ndarray, List[dict]]

参数

• question_hidden_states（形状为(batch_size, vector_size)的np.ndarray）— 一批要检索的查询向量。
  
• n_docs（int）— 每个查询检索的文档数。
  

返回

Tuple[np.ndarray, np.ndarray, List[dict]]

一个包含以下对象的元组：

• retrieved_doc_embeds（形状为(batch_size, n_docs, dim)的np.ndarray）— 检索到的文档的检索嵌入，每个查询一个。
  
• doc_ids（形状为(batch_size, n_docs)的np.ndarray）— 索引中文档的 id
  
• doc_dicts（List[dict]）：每个查询的retrieved_doc_embeds示例。
  

为指定的question_hidden_states检索文档。

PytorchHide Pytorch content

Transformers 4.37 中文文档（五十三）（3）https://developer.aliyun.com/article/1565359