AI 助理
备案控制台
开发者社区 人工智能 文章 正文

Transformers 4.37 中文文档（一百）（5）

2024-07-12 28
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Transformers 4.37 中文文档（一百）

Transformers 4.37 中文文档（一百）（4）https://developer.aliyun.com/article/1565788


🤗 Transformers

原文链接：huggingface.co/docs/transformers/v4.37.2/en/index#contents

PyTorch、TensorFlow和JAX的最先进机器学习。

🤗 Transformers 提供 API 和工具，可轻松下载和训练最先进的预训练模型。使用预训练模型可以减少计算成本、碳足迹，并节省训练模型所需的时间和资源。这些模型支持不同模态的常见任务，如：

📝 自然语言处理：文本分类、命名实体识别、问答、语言建模、摘要、翻译、多项选择和文本生成。

🖼️ 计算机视觉：图像分类、目标检测和分割。

🗣️ 音频：自动语音识别和音频分类。

🐙 多模态：表格问答、光学字符识别、从扫描文档中提取信息、视频分类和视觉问答。

🤗 Transformers 支持 PyTorch、TensorFlow 和 JAX  之间的框架互操作性。这提供了在模型的生命周期的每个阶段使用不同框架的灵活性；在一个框架中用三行代码训练模型，然后在另一个框架中加载进行推断。模型还可以导出到  ONNX 和 TorchScript 等格式，以在生产环境中部署。

立即加入不断增长的社区，参与Hub、论坛或Discord！

如果您正在寻找 Hugging Face 团队的定制支持


目录

文档分为五个部分：

  • 开始提供了一个快速浏览库和安装说明，让您快速上手。
  • 教程是初学者入门的好地方。本节将帮助您获得开始使用库所需的基本技能。
  • 操作指南向您展示如何实现特定目标，比如微调预训练模型用于语言建模，或者如何编写和分享自定义模型。
  • 概念指南提供了更多关于模型、任务和🤗 Transformers 设计理念背后的概念和想法的讨论和解释。
  • API描述了所有类和函数：
  • 主要类详细介绍了配置、模型、分词器和管道等最重要的类。
  • 模型详细介绍了库中实现的每个模型相关的类和函数。
  • 内部助手详细介绍了内部使用的实用类和函数。

支持的模型和框架

下表表示库中对每个模型的当前支持情况，它们是否有 Python 分词器（称为“slow”）。一个由🤗 Tokenizers 库支持的“fast”分词器，以及它们在 Jax（通过 Flax）、PyTorch 和/或 TensorFlow 中的支持情况。

模型 PyTorch 支持 TensorFlow 支持 Flax 支持
ALBERT ✅ ✅ ✅
ALIGN ✅ ❌ ❌
AltCLIP ✅ ❌ ❌
音频频谱变换器 ✅ ❌ ❌
Autoformer ✅ ❌ ❌
Bark ✅ ❌ ❌
BART ✅ ✅ ✅
BARThez ✅ ✅ ✅
BARTpho ✅ ✅ ✅
BEiT ✅ ❌ ✅
BERT ✅ ✅ ✅
Bert 生成 ✅ ❌ ❌
Bert 日语 ✅ ✅ ✅
BERTweet ✅ ✅ ✅
BigBird ✅ ❌ ✅
BigBird-Pegasus ✅ ❌ ❌
BioGpt ✅ ❌ ❌
BiT ✅ ❌ ❌
Blenderbot ✅ ✅ ✅
BlenderbotSmall ✅ ✅ ✅
BLIP ✅ ✅ ❌
BLIP-2 ✅ ❌ ❌
BLOOM ✅ ❌ ✅
BORT ✅ ✅ ✅
BridgeTower ✅ ❌ ❌
BROS ✅ ❌ ❌
ByT5 ✅ ✅ ✅
CamemBERT ✅ ✅ ❌
CANINE ✅ ❌ ❌
Chinese-CLIP ✅ ❌ ❌
CLAP ✅ ❌ ❌
CLIP ✅ ✅ ✅
CLIPSeg ✅ ❌ ❌
CLVP ✅ ❌ ❌
CodeGen ✅ ❌ ❌
CodeLlama ✅ ❌ ✅
Conditional DETR ✅ ❌ ❌
ConvBERT ✅ ✅ ❌
ConvNeXT ✅ ✅ ❌
ConvNeXTV2 ✅ ✅ ❌
CPM ✅ ✅ ✅
CPM-Ant ✅ ❌ ❌
CTRL ✅ ✅ ❌
CvT ✅ ✅ ❌
Data2VecAudio ✅ ❌ ❌
Data2VecText ✅ ❌ ❌
Data2VecVision ✅ ✅ ❌
DeBERTa ✅ ✅ ❌
DeBERTa-v2 ✅ ✅ ❌
Decision Transformer ✅ ❌ ❌
Deformable DETR ✅ ❌ ❌
DeiT ✅ ✅ ❌
DePlot ✅ ❌ ❌
DETA ✅ ❌ ❌
DETR ✅ ❌ ❌
DialoGPT ✅ ✅ ✅
DiNAT ✅ ❌ ❌
DINOv2 ✅ ❌ ❌
DistilBERT ✅ ✅ ✅
DiT ✅ ❌ ✅
DonutSwin ✅ ❌ ❌
DPR ✅ ✅ ❌
DPT ✅ ❌ ❌
EfficientFormer ✅ ✅ ❌
EfficientNet ✅ ❌ ❌
ELECTRA ✅ ✅ ✅
EnCodec ✅ ❌ ❌
Encoder decoder ✅ ✅ ✅
ERNIE ✅ ❌ ❌
ErnieM ✅ ❌ ❌
ESM ✅ ✅ ❌
FairSeq Machine-Translation ✅ ❌ ❌
Falcon ✅ ❌ ❌
FastSpeech2Conformer ✅ ❌ ❌
FLAN-T5 ✅ ✅ ✅
FLAN-UL2 ✅ ✅ ✅
FlauBERT ✅ ✅ ❌
FLAVA ✅ ❌ ❌
FNet ✅ ❌ ❌
FocalNet ✅ ❌ ❌
Funnel Transformer ✅ ✅ ❌
Fuyu ✅ ❌ ❌
GIT ✅ ❌ ❌
GLPN ✅ ❌ ❌
GPT Neo ✅ ❌ ✅
GPT NeoX ✅ ❌ ❌
GPT NeoX Japanese ✅ ❌ ❌
GPT-J ✅ ✅ ✅
GPT-Sw3 ✅ ✅ ✅
GPTBigCode ✅ ❌ ❌
GPTSAN-japanese ✅ ❌ ❌
Graphormer ✅ ❌ ❌
GroupViT ✅ ✅ ❌
HerBERT ✅ ✅ ✅
Hubert ✅ ✅ ❌
I-BERT ✅ ❌ ❌
IDEFICS ✅ ❌ ❌
ImageGPT ✅ ❌ ❌
Informer ✅ ❌ ❌
InstructBLIP ✅ ❌ ❌
Jukebox ✅ ❌ ❌
KOSMOS-2 ✅ ❌ ❌
LayoutLM ✅ ✅ ❌
LayoutLMv2 ✅ ❌ ❌
LayoutLMv3 ✅ ✅ ❌
LayoutXLM ✅ ❌ ❌
LED ✅ ✅ ❌
LeViT ✅ ❌ ❌
LiLT ✅ ❌ ❌
LLaMA ✅ ❌ ✅
Llama2 ✅ ❌ ✅
LLaVa ✅ ❌ ❌
Longformer ✅ ✅ ❌
LongT5 ✅ ❌ ✅
LUKE ✅ ❌ ❌
LXMERT ✅ ✅ ❌
M-CTC-T ✅ ❌ ❌
M2M100 ✅ ❌ ❌
MADLAD-400 ✅ ✅ ✅
Marian ✅ ✅ ✅
MarkupLM ✅ ❌ ❌
Mask2Former ✅ ❌ ❌
MaskFormer ✅ ❌ ❌
MatCha ✅ ❌ ❌
mBART ✅ ✅ ✅
mBART-50 ✅ ✅ ✅
MEGA ✅ ❌ ❌
Megatron-BERT ✅ ❌ ❌
Megatron-GPT2 ✅ ✅ ✅
MGP-STR ✅ ❌ ❌
Mistral ✅ ❌ ❌
Mixtral ✅ ❌ ❌
mLUKE ✅ ❌ ❌
MMS ✅ ✅ ✅
MobileBERT ✅ ✅ ❌
MobileNetV1 ✅ ❌ ❌
MobileNetV2 ✅ ❌ ❌
MobileViT ✅ ✅ ❌
MobileViTV2 ✅ ❌ ❌
MPNet ✅ ✅ ❌
MPT ✅ ❌ ❌
MRA ✅ ❌ ❌
MT5 ✅ ✅ ✅
MusicGen ✅ ❌ ❌
MVP ✅ ❌ ❌
NAT ✅ ❌ ❌
Nezha ✅ ❌ ❌
NLLB ✅ ❌ ❌
NLLB-MOE ✅ ❌ ❌
Nougat ✅ ✅ ✅
Nyströmformer ✅ ❌ ❌
OneFormer ✅ ❌ ❌
OpenAI GPT ✅ ✅ ❌
OpenAI GPT-2 ✅ ✅ ✅
OpenLlama ✅ ❌ ❌
OPT ✅ ✅ ✅
OWL-ViT ✅ ❌ ❌
OWLv2 ✅ ❌ ❌
PatchTSMixer ✅ ❌ ❌
PatchTST ✅ ❌ ❌
Pegasus ✅ ✅ ✅
PEGASUS-X ✅ ❌ ❌
Perceiver ✅ ❌ ❌
Persimmon ✅ ❌ ❌
Phi ✅ ❌ ❌
PhoBERT ✅ ✅ ✅
Pix2Struct ✅ ❌ ❌
PLBart ✅ ❌ ❌
PoolFormer ✅ ❌ ❌
Pop2Piano ✅ ❌ ❌
ProphetNet ✅ ❌ ❌
PVT ✅ ❌ ❌
QDQBert ✅ ❌ ❌
Qwen2 ✅ ❌ ❌
RAG ✅ ✅ ❌
REALM ✅ ❌ ❌
Reformer ✅ ❌ ❌
RegNet ✅ ✅ ✅
RemBERT ✅ ✅ ❌
ResNet ✅ ✅ ✅
RetriBERT ✅ ❌ ❌
RoBERTa ✅ ✅ ✅
RoBERTa-PreLayerNorm ✅ ✅ ✅
RoCBert ✅ ❌ ❌
RoFormer ✅ ✅ ✅
RWKV ✅ ❌ ❌
SAM ✅ ✅ ❌
SeamlessM4T ✅ ❌ ❌
SeamlessM4Tv2 ✅ ❌ ❌
SegFormer ✅ ✅ ❌
SEW ✅ ❌ ❌
SEW-D ✅ ❌ ❌
SigLIP ✅ ❌ ❌
Speech Encoder decoder ✅ ❌ ✅
Speech2Text ✅ ✅ ❌
SpeechT5 ✅ ❌ ❌
Splinter ✅ ❌ ❌
SqueezeBERT ✅ ❌ ❌
SwiftFormer ✅ ❌ ❌
Swin Transformer ✅ ✅ ❌
Swin Transformer V2 ✅ ❌ ❌
Swin2SR ✅ ❌ ❌
SwitchTransformers ✅ ❌ ❌
T5 ✅ ✅ ✅
T5v1.1 ✅ ✅ ✅
Table Transformer ✅ ❌ ❌
TAPAS ✅ ✅ ❌
TAPEX ✅ ✅ ✅
Time Series Transformer ✅ ❌ ❌
TimeSformer ✅ ❌ ❌
Trajectory Transformer ✅ ❌ ❌
Transformer-XL ✅ ✅ ❌
TrOCR ✅ ❌ ❌
TVLT ✅ ❌ ❌
TVP ✅ ❌ ❌
UL2 ✅ ✅ ✅
UMT5 ✅ ❌ ❌
UniSpeech ✅ ❌ ❌
UniSpeechSat ✅ ❌ ❌
UnivNet ✅ ❌ ❌
UPerNet ✅ ❌ ❌
VAN ✅ ❌ ❌
VideoMAE ✅ ❌ ❌
ViLT ✅ ❌ ❌
VipLlava ✅ ❌ ❌
Vision Encoder decoder ✅ ✅ ✅
VisionTextDualEncoder ✅ ✅ ✅
VisualBERT ✅ ❌ ❌
ViT ✅ ✅ ✅
ViT Hybrid ✅ ❌ ❌
VitDet ✅ ❌ ❌
ViTMAE ✅ ✅ ❌
ViTMatte ✅ ❌ ❌
ViTMSN ✅ ❌ ❌
VITS ✅ ❌ ❌
ViViT ✅ ❌ ❌
Wav2Vec2 ✅ ✅ ✅
Wav2Vec2-BERT ✅ ❌ ❌
Wav2Vec2-Conformer ✅ ❌ ❌
Wav2Vec2Phoneme ✅ ✅ ✅
WavLM ✅ ❌ ❌
Whisper ✅ ✅ ✅
X-CLIP ✅ ❌ ❌
X-MOD ✅ ❌ ❌
XGLM ✅ ✅ ✅
XLM ✅ ✅ ❌
XLM-ProphetNet ✅ ❌ ❌
XLM-RoBERTa ✅ ✅ ✅
XLM-RoBERTa-XL ✅ ❌ ❌
XLM-V ✅ ✅ ✅
XLNet ✅ ✅ ❌
XLS-R ✅ ✅ ✅
XLSR-Wav2Vec2 ✅ ✅ ✅
YOLOS ✅ ❌ ❌
YOSO ✅ ❌ ❌


Transformers 4.37 中文文档（一百）（6）https://developer.aliyun.com/article/1565790

文章标签：
算法框架/工具
TensorFlow
PyTorch
自然语言处理
API
布客飞龙
目录
相关文章
布客飞龙
|
3月前
|
数据可视化 PyTorch 测试技术
Transformers 4.37 中文文档（五）（6）
Transformers 4.37 中文文档（五）
布客飞龙
53 1
布客飞龙
|
3月前
|
存储 机器学习/深度学习 编解码
Transformers 4.37 中文文档（五）（5）
Transformers 4.37 中文文档（五）
布客飞龙
189 0
布客飞龙
|
3月前
|
数据可视化 PyTorch TensorFlow
Transformers 4.37 中文文档（四）（4）
Transformers 4.37 中文文档（四）
布客飞龙
28 1
Transformers 4.37 中文文档（四）（4）
布客飞龙
|
3月前
|
存储 编解码 JSON
Transformers 4.37 中文文档（四）（5）
Transformers 4.37 中文文档（四）
布客飞龙
43 1
Transformers 4.37 中文文档（四）（5）
布客飞龙
|
3月前
|
PyTorch TensorFlow 调度
Transformers 4.37 中文文档（二）（5）
Transformers 4.37 中文文档（二）
布客飞龙
61 5
布客飞龙
|
3月前
|
PyTorch TensorFlow 算法框架/工具
Transformers 4.37 中文文档（四）（3）
Transformers 4.37 中文文档（四）
布客飞龙
30 1
布客飞龙
|
3月前
|
存储 自然语言处理 测试技术
Transformers 4.37 中文文档（八）（1）
Transformers 4.37 中文文档（八）
布客飞龙
25 2
布客飞龙
|
3月前
|
存储 自然语言处理 测试技术
Transformers 4.37 中文文档（八）（4）
Transformers 4.37 中文文档（八）
布客飞龙
59 2
布客飞龙
|
3月前
|
API 计算机视觉 Python
Transformers 4.37 中文文档（八）（2）
Transformers 4.37 中文文档（八）
布客飞龙
50 2
布客飞龙
|
3月前
|
存储 PyTorch TensorFlow
Transformers 4.37 中文文档（二）（1）
Transformers 4.37 中文文档（二）
布客飞龙
63 1

热门文章

最新文章

  • 1
    proxy error: could not proxy request解决方案
  • 2
    OSS-Android SDK 搭建总结
  • 3
    Nginx系列教程（13） - TCP反向代理实现
  • 4
    2.3. FFmpeg
  • 5
    Waymo真·无人车上路了！没司机的出租车推出在即 | 多图实拍
  • 6
    Net设计模式实例之中介者模式（Mediator Pattern）(2)
  • 7
    [Silverlight]奇技银巧系列-2
  • 8
    查询离某个时间最近的记录
  • 9
    物联网将如何改善社会运行效率?
  • 10
    07.LoT.UI 前后台通用框架分解系列之——轻巧的文本编辑器
  • 1
    掌握微前端架构：构建未来前端应用的基石
    22
  • 2
    端到端加密：确保数据传输安全的最佳实践
    20
  • 3
    利用AI进行代码审查：提升代码质量和开发效率
    17
  • 4
    Github 宣布在2023年底前必须使用双重验证
    19
  • 5
    第6章：Vue中的ajax（包含：回顾发送ajax请求方式、vue-cli脚手架配置代理服务器）
    21
  • 6
    Python 散列类型三以及函数基础
    14
  • 7
    vue2知识点：vue-cli脚手架配置代理服务器
    20
  • 8
    回顾前端页面发送ajax请求方式
    27
  • 9
    vue2知识点：箭头函数和普通函数的this指向问题
    31
  • 10
    《进阶篇第6章：vue中的ajax》包括回顾发送ajax请求方式、vue-cli脚手架配置代理服务器、vue-resource
    34

    • 相关课程

    更多
  • TensorFlow基础教程
  • Pytorch实战
  • Tensorflow2.0入门与实战

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    AI助理直击要害，从繁复中提炼精华——使用CDN加速访问OSS存储的图片