AI 助理
备案控制台
开发者社区 人工智能 文章 正文

Transformers 4.37 中文文档（二）（5）

2024-07-09 124
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Transformers 4.37 中文文档（二）

Transformers 4.37 中文文档（二）（4）https://developer.aliyun.com/article/1563285


评估

在训练过程中包含一个指标通常有助于评估模型的性能。您可以使用 🤗 Evaluate 库快速加载评估方法。对于这个任务，加载 seqeval 框架（查看 🤗 Evaluate 快速入门 了解如何加载和计算指标）。Seqeval 实际上会生成几个分数：精确度、召回率、F1 和准确度。

>>> import evaluate
>>> seqeval = evaluate.load("seqeval")

首先获取 NER 标签，然后创建一个函数，将您的真实预测和真实标签传递给 compute 来计算分数：

>>> import numpy as np
>>> labels = [label_list[i] for i in example[f"ner_tags"]]
>>> def compute_metrics(p):
...     predictions, labels = p
...     predictions = np.argmax(predictions, axis=2)
...     true_predictions = [
...         [label_list[p] for (p, l) in zip(prediction, label) if l != -100]
...         for prediction, label in zip(predictions, labels)
...     ]
...     true_labels = [
...         [label_list[l] for (p, l) in zip(prediction, label) if l != -100]
...         for prediction, label in zip(predictions, labels)
...     ]
...     results = seqeval.compute(predictions=true_predictions, references=true_labels)
...     return {
...         "precision": results["overall_precision"],
...         "recall": results["overall_recall"],
...         "f1": results["overall_f1"],
...         "accuracy": results["overall_accuracy"],
...     }

您的 compute_metrics 函数现在已经准备就绪，当您设置训练时会返回到它。

训练

在开始训练模型之前，使用 id2label 和 label2id 创建预期 id 到标签的映射：

>>> id2label = {
...     0: "O",
...     1: "B-corporation",
...     2: "I-corporation",
...     3: "B-creative-work",
...     4: "I-creative-work",
...     5: "B-group",
...     6: "I-group",
...     7: "B-location",
...     8: "I-location",
...     9: "B-person",
...     10: "I-person",
...     11: "B-product",
...     12: "I-product",
... }
>>> label2id = {
...     "O": 0,
...     "B-corporation": 1,
...     "I-corporation": 2,
...     "B-creative-work": 3,
...     "I-creative-work": 4,
...     "B-group": 5,
...     "I-group": 6,
...     "B-location": 7,
...     "I-location": 8,
...     "B-person": 9,
...     "I-person": 10,
...     "B-product": 11,
...     "I-product": 12,
... }

PytorchHide Pytorch 内容

如果您不熟悉使用 Trainer 对模型进行微调，请查看这里的基本教程 here！

现在您已经准备好开始训练您的模型了！使用 AutoModelForTokenClassification 加载 DistilBERT，以及预期标签数和标签映射：

>>> from transformers import AutoModelForTokenClassification, TrainingArguments, Trainer
>>> model = AutoModelForTokenClassification.from_pretrained(
...     "distilbert-base-uncased", num_labels=13, id2label=id2label, label2id=label2id
... )

此时，只剩下三个步骤：

  1. 在 TrainingArguments 中定义您的训练超参数。唯一必需的参数是 output_dir，指定保存模型的位置。通过设置 push_to_hub=True 将此模型推送到 Hub（您需要登录 Hugging Face 以上传模型）。在每个时代结束时，Trainer 将评估 seqeval 分数并保存训练检查点。
  2. 将训练参数传递给 Trainer，以及模型、数据集、分词器、数据整理器和compute_metrics函数。
  3. 调用 train()来微调您的模型。
>>> training_args = TrainingArguments(
...     output_dir="my_awesome_wnut_model",
...     learning_rate=2e-5,
...     per_device_train_batch_size=16,
...     per_device_eval_batch_size=16,
...     num_train_epochs=2,
...     weight_decay=0.01,
...     evaluation_strategy="epoch",
...     save_strategy="epoch",
...     load_best_model_at_end=True,
...     push_to_hub=True,
... )
>>> trainer = Trainer(
...     model=model,
...     args=training_args,
...     train_dataset=tokenized_wnut["train"],
...     eval_dataset=tokenized_wnut["test"],
...     tokenizer=tokenizer,
...     data_collator=data_collator,
...     compute_metrics=compute_metrics,
... )
>>> trainer.train()

培训完成后，使用 push_to_hub()方法将您的模型共享到 Hub，以便每个人都可以使用您的模型：

>>> trainer.push_to_hub()

隐藏 TensorFlow 内容

如果您不熟悉使用 Keras 微调模型，请查看基本教程这里！

要在 TensorFlow 中微调模型，请首先设置优化器函数、学习率调度和一些训练超参数：

>>> from transformers import create_optimizer
>>> batch_size = 16
>>> num_train_epochs = 3
>>> num_train_steps = (len(tokenized_wnut["train"]) // batch_size) * num_train_epochs
>>> optimizer, lr_schedule = create_optimizer(
...     init_lr=2e-5,
...     num_train_steps=num_train_steps,
...     weight_decay_rate=0.01,
...     num_warmup_steps=0,
... )

然后，您可以加载 DistilBERT 与 TFAutoModelForTokenClassification 以及预期标签的数量和标签映射：

>>> from transformers import TFAutoModelForTokenClassification
>>> model = TFAutoModelForTokenClassification.from_pretrained(
...     "distilbert-base-uncased", num_labels=13, id2label=id2label, label2id=label2id
... )

使用 prepare_tf_dataset()将数据集转换为tf.data.Dataset格式：

>>> tf_train_set = model.prepare_tf_dataset(
...     tokenized_wnut["train"],
...     shuffle=True,
...     batch_size=16,
...     collate_fn=data_collator,
... )
>>> tf_validation_set = model.prepare_tf_dataset(
...     tokenized_wnut["validation"],
...     shuffle=False,
...     batch_size=16,
...     collate_fn=data_collator,
... )

使用compile配置模型进行训练。请注意，Transformers 模型都有一个默认的与任务相关的损失函数，因此除非您想要指定一个，否则不需要指定：

>>> import tensorflow as tf
>>> model.compile(optimizer=optimizer)  # No loss argument!

在开始训练之前设置的最后两件事是从预测中计算 seqeval 分数，并提供一种将您的模型推送到 Hub 的方法。这两者都可以使用 Keras callbacks 来完成。

将您的compute_metrics函数传递给 KerasMetricCallback：

>>> from transformers.keras_callbacks import KerasMetricCallback
>>> metric_callback = KerasMetricCallback(metric_fn=compute_metrics, eval_dataset=tf_validation_set)

在 PushToHubCallback 中指定要推送模型和分词器的位置：

>>> from transformers.keras_callbacks import PushToHubCallback
>>> push_to_hub_callback = PushToHubCallback(
...     output_dir="my_awesome_wnut_model",
...     tokenizer=tokenizer,
... )

然后将您的回调捆绑在一起：

>>> callbacks = [metric_callback, push_to_hub_callback]

最后，您已经准备好开始训练您的模型了！使用您的训练和验证数据集、时代数和回调调用fit来微调模型：

>>> model.fit(x=tf_train_set, validation_data=tf_validation_set, epochs=3, callbacks=callbacks)
• 1

一旦训练完成，您的模型将自动上传到 Hub，以便每个人都可以使用它！

要了解如何为标记分类微调模型的更深入示例，请查看相应的PyTorch 笔记本或TensorFlow 笔记本。

推理

很好，现在您已经微调了一个模型，可以用它进行推理了！

获取一些您想要运行推理的文本：

>>> text = "The Golden State Warriors are an American professional basketball team based in San Francisco."

尝试使用您微调的模型进行推理的最简单方法是在 pipeline()中使用它。用您的模型实例化一个 NER 的pipeline，并将文本传递给它：

>>> from transformers import pipeline
>>> classifier = pipeline("ner", model="stevhliu/my_awesome_wnut_model")
>>> classifier(text)
[{'entity': 'B-location',
  'score': 0.42658573,
  'index': 2,
  'word': 'golden',
  'start': 4,
  'end': 10},
 {'entity': 'I-location',
  'score': 0.35856336,
  'index': 3,
  'word': 'state',
  'start': 11,
  'end': 16},
 {'entity': 'B-group',
  'score': 0.3064001,
  'index': 4,
  'word': 'warriors',
  'start': 17,
  'end': 25},
 {'entity': 'B-location',
  'score': 0.65523505,
  'index': 13,
  'word': 'san',
  'start': 80,
  'end': 83},
 {'entity': 'B-location',
  'score': 0.4668663,
  'index': 14,
  'word': 'francisco',
  'start': 84,
  'end': 93}]

如果您愿意，您也可以手动复制pipeline的结果：

隐藏 Pytorch 内容

对文本进行标记化并返回 PyTorch 张量：

>>> from transformers import AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("stevhliu/my_awesome_wnut_model")
>>> inputs = tokenizer(text, return_tensors="pt")

将您的输入传递给模型并返回logits：

>>> from transformers import AutoModelForTokenClassification
>>> model = AutoModelForTokenClassification.from_pretrained("stevhliu/my_awesome_wnut_model")
>>> with torch.no_grad():
...     logits = model(**inputs).logits

获取具有最高概率的类，并使用模型的id2label映射将其转换为文本标签：

>>> predictions = torch.argmax(logits, dim=2)
>>> predicted_token_class = [model.config.id2label[t.item()] for t in predictions[0]]
>>> predicted_token_class
['O',
 'O',
 'B-location',
 'I-location',
 'B-group',
 'O',
 'O',
 'O',
 'O',
 'O',
 'O',
 'O',
 'O',
 'B-location',
 'B-location',
 'O',
 'O']

隐藏 TensorFlow 内容

对文本进行标记化并返回 TensorFlow 张量：

>>> from transformers import AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("stevhliu/my_awesome_wnut_model")
>>> inputs = tokenizer(text, return_tensors="tf")

将您的输入传递给模型并返回logits：

>>> from transformers import TFAutoModelForTokenClassification
>>> model = TFAutoModelForTokenClassification.from_pretrained("stevhliu/my_awesome_wnut_model")
>>> logits = model(**inputs).logits

获取具有最高概率的类，并使用模型的id2label映射将其转换为文本标签：

>>> predicted_token_class_ids = tf.math.argmax(logits, axis=-1)
>>> predicted_token_class = [model.config.id2label[t] for t in predicted_token_class_ids[0].numpy().tolist()]
>>> predicted_token_class
['O',
 'O',
 'B-location',
 'I-location',
 'B-group',
 'O',
 'O',
 'O',
 'O',
 'O',
 'O',
 'O',
 'O',
 'B-location',
 'B-location',
 'O',
 'O']
olden’,
 ‘start’: 4,
 ‘end’: 10},
 {‘entity’: ‘I-location’,
 ‘score’: 0.35856336,
 ‘index’: 3,
 ‘word’: ‘state’,
 ‘start’: 11,
 ‘end’: 16},
 {‘entity’: ‘B-group’,
 ‘score’: 0.3064001,
 ‘index’: 4,
 ‘word’: ‘warriors’,
 ‘start’: 17,
 ‘end’: 25},
 {‘entity’: ‘B-location’,
 ‘score’: 0.65523505,
 ‘index’: 13,
 ‘word’: ‘san’,
 ‘start’: 80,
 ‘end’: 83},
 {‘entity’: ‘B-location’,
 ‘score’: 0.4668663,
 ‘index’: 14,
 ‘word’: ‘francisco’,
 ‘start’: 84,
 ‘end’: 93}]
如果您愿意，您也可以手动复制`pipeline`的结果：
隐藏 Pytorch 内容
对文本进行标记化并返回 PyTorch 张量：
```py
>>> from transformers import AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("stevhliu/my_awesome_wnut_model")
>>> inputs = tokenizer(text, return_tensors="pt")

将您的输入传递给模型并返回logits：

>>> from transformers import AutoModelForTokenClassification
>>> model = AutoModelForTokenClassification.from_pretrained("stevhliu/my_awesome_wnut_model")
>>> with torch.no_grad():
...     logits = model(**inputs).logits

获取具有最高概率的类，并使用模型的id2label映射将其转换为文本标签：

>>> predictions = torch.argmax(logits, dim=2)
>>> predicted_token_class = [model.config.id2label[t.item()] for t in predictions[0]]
>>> predicted_token_class
['O',
 'O',
 'B-location',
 'I-location',
 'B-group',
 'O',
 'O',
 'O',
 'O',
 'O',
 'O',
 'O',
 'O',
 'B-location',
 'B-location',
 'O',
 'O']

隐藏 TensorFlow 内容

对文本进行标记化并返回 TensorFlow 张量：

>>> from transformers import AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("stevhliu/my_awesome_wnut_model")
>>> inputs = tokenizer(text, return_tensors="tf")

将您的输入传递给模型并返回logits：

>>> from transformers import TFAutoModelForTokenClassification
>>> model = TFAutoModelForTokenClassification.from_pretrained("stevhliu/my_awesome_wnut_model")
>>> logits = model(**inputs).logits

获取具有最高概率的类，并使用模型的id2label映射将其转换为文本标签：

>>> predicted_token_class_ids = tf.math.argmax(logits, axis=-1)
>>> predicted_token_class = [model.config.id2label[t] for t in predicted_token_class_ids[0].numpy().tolist()]
>>> predicted_token_class
['O',
 'O',
 'B-location',
 'I-location',
 'B-group',
 'O',
 'O',
 'O',
 'O',
 'O',
 'O',
 'O',
 'O',
 'B-location',
 'B-location',
 'O',
 'O']
文章标签：
算法框架/工具
TensorFlow
PyTorch
调度
布客飞龙
目录
相关文章
布客飞龙
|
7月前
|
自然语言处理 PyTorch 语音技术
Transformers 4.37 中文文档（四）（1）
Transformers 4.37 中文文档（四）
布客飞龙
66 3
布客飞龙
|
7月前
|
自然语言处理 PyTorch TensorFlow
Transformers 4.37 中文文档（一百）（5）
Transformers 4.37 中文文档（一百）
布客飞龙
46 1
布客飞龙
|
7月前
|
存储 JSON 缓存
Transformers 4.37 中文文档（一百）（1）
Transformers 4.37 中文文档（一百）
布客飞龙
68 1
布客飞龙
|
7月前
|
自然语言处理 PyTorch TensorFlow
Transformers 4.37 中文文档（一百）（3）
Transformers 4.37 中文文档（一百）
布客飞龙
42 1
布客飞龙
|
7月前
|
PyTorch TensorFlow 调度
Transformers 4.37 中文文档（一）（5）
Transformers 4.37 中文文档（一）
布客飞龙
98 1
布客飞龙
|
7月前
|
存储 PyTorch 算法框架/工具
Transformers 4.37 中文文档（八十三）（2）
Transformers 4.37 中文文档（八十三）
布客飞龙
57 3
布客飞龙
|
7月前
|
PyTorch 语音技术 算法框架/工具
Transformers 4.37 中文文档（八十五）（2）
Transformers 4.37 中文文档（八十五）
布客飞龙
51 3
布客飞龙
|
7月前
|
PyTorch TensorFlow 算法框架/工具
Transformers 4.37 中文文档（四）（3）
Transformers 4.37 中文文档（四）
布客飞龙
53 1
布客飞龙
|
7月前
|
存储 自然语言处理 测试技术
Transformers 4.37 中文文档（八）（4）
Transformers 4.37 中文文档（八）
布客飞龙
132 2
布客飞龙
|
7月前
|
自然语言处理 PyTorch TensorFlow
Transformers 4.37 中文文档（二）（4）
Transformers 4.37 中文文档（二）
布客飞龙
55 2

热门文章

最新文章

  • 1
    deepseek部署的详细步骤和方法，基于Ollama获取顶级推理能力！
  • 2
    讨论阶段性给予客户交付物所引发的风险问题
  • 3
    Linus Torvalds将中国亮相LinuxCon + ContainerCon + CloudOpen
  • 4
    DispatcherServlet与初始化主线
  • 5
    网络安全研究人员发现新漏洞：或成另一个WannaCry
  • 6
    Swift中常量和变量的声明
  • 7
    [20160516]adrci purge.txt
  • 8
    Docker Secure Deployment Guidelines
  • 9
    Eclipse没有权限操作rt.jar包中的sun包，导致sun.net.ftp.FtpClient引用报错
  • 10
    Learning Cocos2d-x for WP8（9）——Sprite到哪，我做主
  • 1
    去中心化存储：数据存储的新范式
    117
  • 2
    AI 赋能混合云运维：告别手工操作，迈向智能自愈！
    113
  • 3
    从Excel到大数据：别让工具限制你的思维！
    109
  • 4
    Go 切片导致 rand.Shuffle 产生重复数据的原因与解决方案
    95
  • 5
    基于SVPWM矢量控制的无速度传感器电机控制系统simulink建模与仿真
    34
  • 6
    基于小波变换和峰值搜索的光谱检测matlab仿真,带GUI界面
    38
  • 7
    DragAnything：视频PS来了！开源AI控制器让视频「指哪动哪」：拖拽任意物体轨迹，多对象独立运动一键生成
    38
  • 8
    FoloUp：比HR更懂岗位需求！开源语音面试平台爆火：1份岗位需求生成100问，语音AI追问逻辑漏洞
    25
  • 9
    KTransformers：告别天价显卡！国产框架让单卡24G显存跑DeepSeek-R1 671B大模型：推理速度飙升28倍
    239
  • 10
    基于深度学习的路面裂缝检测算法matlab仿真
    24

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    阿里云oss简介和如何对接使用