AI 助理
备案控制台
开发者社区 云计算 文章 正文

Transformers 4.37 中文文档（五）（8）

2024-07-11 47
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Transformers 4.37 中文文档（五）

Transformers 4.37 中文文档（五）（7）https://developer.aliyun.com/article/1565247


评估

文档问题回答的评估需要大量的后处理。为了避免占用太多时间，本指南跳过了评估步骤。Trainer  在训练过程中仍会计算评估损失，因此您不会完全不了解模型的性能。提取式问答通常使用 F1/完全匹配进行评估。如果您想自己实现，请查看  Hugging Face 课程的问答章节获取灵感。

训练

恭喜！您已成功完成本指南中最困难的部分，现在您已经准备好训练自己的模型。训练包括以下步骤：

  • 使用与预处理相同的检查点加载 AutoModelForDocumentQuestionAnswering 模型。
  • 在 TrainingArguments 中定义您的训练超参数。
  • 定义一个将示例批处理在一起的函数，这里 DefaultDataCollator 将做得很好
  • 将训练参数传递给 Trainer，以及模型、数据集和数据收集器。
  • 调用 train()来微调您的模型。
>>> from transformers import AutoModelForDocumentQuestionAnswering
>>> model = AutoModelForDocumentQuestionAnswering.from_pretrained(model_checkpoint)

在 TrainingArguments 中使用output_dir指定保存模型的位置，并根据需要配置超参数。如果希望与社区分享模型，请将push_to_hub设置为True（您必须登录 Hugging Face 才能上传模型）。在这种情况下，output_dir也将是将推送模型检查点的存储库的名称。

>>> from transformers import TrainingArguments
>>> # REPLACE THIS WITH YOUR REPO ID
>>> repo_id = "MariaK/layoutlmv2-base-uncased_finetuned_docvqa"
>>> training_args = TrainingArguments(
...     output_dir=repo_id,
...     per_device_train_batch_size=4,
...     num_train_epochs=20,
...     save_steps=200,
...     logging_steps=50,
...     evaluation_strategy="steps",
...     learning_rate=5e-5,
...     save_total_limit=2,
...     remove_unused_columns=False,
...     push_to_hub=True,
... )

定义一个简单的数据收集器来将示例批处理在一起。

>>> from transformers import DefaultDataCollator
>>> data_collator = DefaultDataCollator()

最后，将所有内容汇总，并调用 train()：

>>> from transformers import Trainer
>>> trainer = Trainer(
...     model=model,
...     args=training_args,
...     data_collator=data_collator,
...     train_dataset=encoded_train_dataset,
...     eval_dataset=encoded_test_dataset,
...     tokenizer=processor,
... )
>>> trainer.train()

要将最终模型添加到🤗 Hub，创建一个模型卡并调用push_to_hub：

>>> trainer.create_model_card()
>>> trainer.push_to_hub()

推理

现在您已经微调了一个 LayoutLMv2 模型，并将其上传到🤗 Hub，您可以用它进行推理。尝试使用微调模型进行推理的最简单方法是在 Pipeline 中使用它。

让我们举个例子：

>>> example = dataset["test"][2]
>>> question = example["query"]["en"]
>>> image = example["image"]
>>> print(question)
>>> print(example["answers"])
'Who is ‘presiding’ TRRF GENERAL SESSION (PART 1)?'
['TRRF Vice President', 'lee a. waller']

接下来，使用您的模型为文档问题回答实例化一个流水线，并将图像+问题组合传递给它。

>>> from transformers import pipeline
>>> qa_pipeline = pipeline("document-question-answering", model="MariaK/layoutlmv2-base-uncased_finetuned_docvqa")
>>> qa_pipeline(image, question)
[{'score': 0.9949808120727539,
  'answer': 'Lee A. Waller',
  'start': 55,
  'end': 57}]

如果愿意，也可以手动复制流水线的结果：

  1. 将一张图片和一个问题，使用模型的处理器为其准备好。
  2. 将结果或预处理通过模型前向传递。
  3. 模型返回start_logits和end_logits，指示答案起始处和答案结束处的标记。两者的形状都是(batch_size, sequence_length)。
  4. 对start_logits和end_logits的最后一个维度进行 argmax 操作，以获取预测的start_idx和end_idx。
  5. 使用分词器解码答案。
>>> import torch
>>> from transformers import AutoProcessor
>>> from transformers import AutoModelForDocumentQuestionAnswering
>>> processor = AutoProcessor.from_pretrained("MariaK/layoutlmv2-base-uncased_finetuned_docvqa")
>>> model = AutoModelForDocumentQuestionAnswering.from_pretrained("MariaK/layoutlmv2-base-uncased_finetuned_docvqa")
>>> with torch.no_grad():
...     encoding = processor(image.convert("RGB"), question, return_tensors="pt")
...     outputs = model(**encoding)
...     start_logits = outputs.start_logits
...     end_logits = outputs.end_logits
...     predicted_start_idx = start_logits.argmax(-1).item()
...     predicted_end_idx = end_logits.argmax(-1).item()
>>> processor.tokenizer.decode(encoding.input_ids.squeeze()[predicted_start_idx : predicted_end_idx + 1])
'lee a. waller'
ataset,
 … tokenizer=processor,
 … )
trainer.train()
要将最终模型添加到🤗 Hub，创建一个模型卡并调用`push_to_hub`：
```py
>>> trainer.create_model_card()
>>> trainer.push_to_hub()

推理

现在您已经微调了一个 LayoutLMv2 模型，并将其上传到🤗 Hub，您可以用它进行推理。尝试使用微调模型进行推理的最简单方法是在 Pipeline 中使用它。

让我们举个例子：

>>> example = dataset["test"][2]
>>> question = example["query"]["en"]
>>> image = example["image"]
>>> print(question)
>>> print(example["answers"])
'Who is ‘presiding’ TRRF GENERAL SESSION (PART 1)?'
['TRRF Vice President', 'lee a. waller']

接下来，使用您的模型为文档问题回答实例化一个流水线，并将图像+问题组合传递给它。

>>> from transformers import pipeline
>>> qa_pipeline = pipeline("document-question-answering", model="MariaK/layoutlmv2-base-uncased_finetuned_docvqa")
>>> qa_pipeline(image, question)
[{'score': 0.9949808120727539,
  'answer': 'Lee A. Waller',
  'start': 55,
  'end': 57}]

如果愿意，也可以手动复制流水线的结果：

  1. 将一张图片和一个问题，使用模型的处理器为其准备好。
  2. 将结果或预处理通过模型前向传递。
  3. 模型返回start_logits和end_logits，指示答案起始处和答案结束处的标记。两者的形状都是(batch_size, sequence_length)。
  4. 对start_logits和end_logits的最后一个维度进行 argmax 操作，以获取预测的start_idx和end_idx。
  5. 使用分词器解码答案。
>>> import torch
>>> from transformers import AutoProcessor
>>> from transformers import AutoModelForDocumentQuestionAnswering
>>> processor = AutoProcessor.from_pretrained("MariaK/layoutlmv2-base-uncased_finetuned_docvqa")
>>> model = AutoModelForDocumentQuestionAnswering.from_pretrained("MariaK/layoutlmv2-base-uncased_finetuned_docvqa")
>>> with torch.no_grad():
...     encoding = processor(image.convert("RGB"), question, return_tensors="pt")
...     outputs = model(**encoding)
...     start_logits = outputs.start_logits
...     end_logits = outputs.end_logits
...     predicted_start_idx = start_logits.argmax(-1).item()
...     predicted_end_idx = end_logits.argmax(-1).item()
>>> processor.tokenizer.decode(encoding.input_ids.squeeze()[predicted_start_idx : predicted_end_idx + 1])
'lee a. waller'
文章标签：
存储
布客飞龙
目录
相关文章
布客飞龙
|
6月前
|
数据可视化 PyTorch 测试技术
Transformers 4.37 中文文档（五）（6）
Transformers 4.37 中文文档（五）
布客飞龙
79 2
布客飞龙
|
6月前
|
PyTorch TensorFlow 调度
Transformers 4.37 中文文档（一）（5）
Transformers 4.37 中文文档（一）
布客飞龙
79 1
布客飞龙
|
6月前
|
自然语言处理 PyTorch TensorFlow
Transformers 4.37 中文文档（一百）（6）
Transformers 4.37 中文文档（一百）
布客飞龙
40 1
布客飞龙
|
6月前
|
自然语言处理 PyTorch TensorFlow
Transformers 4.37 中文文档（一）（2）
Transformers 4.37 中文文档（一）
布客飞龙
127 1
布客飞龙
|
6月前
|
存储 自然语言处理 PyTorch
Transformers 4.37 中文文档（八十三）（1）
Transformers 4.37 中文文档（八十三）
布客飞龙
46 3
布客飞龙
|
6月前
|
存储 PyTorch 算法框架/工具
Transformers 4.37 中文文档（八十三）（2）
Transformers 4.37 中文文档（八十三）
布客飞龙
44 3
布客飞龙
|
6月前
|
并行计算 PyTorch 算法框架/工具
Transformers 4.37 中文文档（八）（5）
Transformers 4.37 中文文档（八）
布客飞龙
206 2
布客飞龙
|
6月前
|
存储 编解码 PyTorch
Transformers 4.37 中文文档（八十三）（3）
Transformers 4.37 中文文档（八十三）
布客飞龙
32 2
布客飞龙
|
6月前
|
API 计算机视觉 Python
Transformers 4.37 中文文档（八）（2）
Transformers 4.37 中文文档（八）
布客飞龙
70 2
布客飞龙
|
6月前
|
并行计算 测试技术 TensorFlow
Transformers 4.37 中文文档（八）（3）
Transformers 4.37 中文文档（八）
布客飞龙
106 2

热门文章

最新文章

  • 1
    【实战】锐捷AC+AP配置WLAN基本服务系列
  • 2
    丰富、连接、待集成—MaxCompute 生态再出发
  • 3
    Tomcat 7.0 64位免安装解压版 安装及配置
  • 4
    securecrt克隆会话与sshd 的 MaxSessions
  • 5
    安卓支持RISC-V架构的技术剖析
  • 6
    生成文件的另一种思路——共享文件同步
  • 7
    高阶自定义View --- 粒子变幻、隧道散列、组合文字
  • 8
    奇虎团队不到1分钟攻破谷歌Pixel 斩获12万美元奖金
  • 9
    npm使用指南
  • 10
    Visual Studio 2010快捷键大全
  • 1
    Smolagents：三行代码就能开发 AI 智能体，Hugging Face 开源轻量级 Agent 构建库
    123
  • 2
    Cognita：小白也能搭建 RAG 系统，提供交互界面的开源模块化 RAG 框架，支持多种文档检索技术
    29
  • 3
    SocraticLM：通过 AI 提问引导学生主动思考，中科大与科大讯飞联合推出苏格拉底式教育大模型
    27
  • 4
    SoulChat2.0：低成本构建 AI 心理咨询师，华南理工开源心理咨询师数字孪生大语言模型
    29
  • 5
    TryOffAnyone：快速将模特服装图还原为平铺商品图，生成标准化的服装展示效果
    30
  • 6
    VITRON：开源像素级视觉大模型，同时满足图像与视频理解、生成、分割和编辑等视觉任务
    32
  • 7
    Memory Layers：如何在不增加算力成本的情况下扩大模型的参数容量？Meta 开源解决方法
    25
  • 8
    ImBD：复旦联合华南理工推出 AI 内容检测模型，快速辨别文本内容是否为 AI 生成
    23
  • 9
    《量子硬件制造：降低退相干率与错误率的策略》
    22
  • 10
    《量子计算硬件：关键指标对人工智能应用性能的影响》
    89

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月