Transformers 4.37 中文文档(一)(1)

简介: Transformers 4.37 中文文档(一)


开始吧

🤗 Transformers


PyTorch、TensorFlow和JAX的最先进机器学习。

🤗 Transformers 提供 API 和工具,可以轻松下载和训练最先进的预训练模型。使用预训练模型可以减少计算成本、碳足迹,并节省训练模型所需的时间和资源。这些模型支持不同模态中的常见任务,例如:

📝 自然语言处理:文本分类、命名实体识别、问答、语言建模、摘要、翻译、多项选择和文本生成。

🖼️ 计算机视觉:图像分类、目标检测和分割。

🗣️ 音频:自动语音识别和音频分类。

🐙 多模态:表格问答、光学字符识别、从扫描文档中提取信息、视频分类和视觉问答。

🤗 Transformers 支持 PyTorch、TensorFlow 和 JAX 之间的框架互操作性。这提供了在模型生命周期的每个阶段使用不同框架的灵活性;在一个框架中用三行代码训练模型,然后在另一个框架中加载进行推断。模型还可以导出到类似 ONNX 和 TorchScript 的格式,以在生产环境中部署。

立即加入Hub、论坛或Discord上不断增长的社区!

如果您正在寻找 Hugging Face 团队的定制支持


目录

文档分为五个部分:

  • 开始提供了一个快速浏览库和安装说明,让您快速上手。
  • 教程是初学者入门的好地方。本节将帮助您获得开始使用库所需的基本技能。
  • 操作指南向您展示如何实现特定目标,例如对预训练模型进行微调以进行语言建模,或者如何编写和共享自定义模型。
  • 概念指南提供了更多关于模型、任务和🤗 Transformers 设计理念背后的概念和思想的讨论和解释。
  • API描述了所有类和函数:
  • 主要类详细介绍了配置、模型、分词器和管道等最重要的类。
  • 模型详细介绍了库中实现的每个模型相关的类和函数。
  • 内部助手详细介绍了内部使用的实用类和函数。

支持的模型和框架

下表表示库中对这些模型的当前支持,它们是否有 Python 分词器(称为“slow”)。由🤗 Tokenizers 库支持的“fast”分词器,它们是否在 Jax(通过 Flax)、PyTorch 和/或 TensorFlow 中有支持。

模型 PyTorch 支持 TensorFlow 支持 Flax 支持
ALBERT ✅ ✅ ✅
ALIGN ✅ ❌ ❌
AltCLIP ✅ ❌ ❌
Audio Spectrogram Transformer ✅ ❌ ❌
Autoformer ✅ ❌ ❌
Bark ✅ ❌ ❌
BART ✅ ✅ ✅
BARThez ✅ ✅ ✅
BARTpho ✅ ✅ ✅
BEiT ✅ ❌ ✅
BERT ✅ ✅ ✅
Bert Generation ✅ ❌ ❌
BertJapanese ✅ ✅ ✅
BERTweet ✅ ✅ ✅
BigBird ✅ ❌ ✅
BigBird-Pegasus ✅ ❌ ❌
BioGpt ✅ ❌ ❌
BiT ✅ ❌ ❌
Blenderbot ✅ ✅ ✅
BlenderbotSmall ✅ ✅ ✅
BLIP ✅ ✅ ❌
BLIP-2 ✅ ❌ ❌
BLOOM ✅ ❌ ✅
BORT ✅ ✅ ✅
BridgeTower ✅ ❌ ❌
BROS ✅ ❌ ❌
ByT5 ✅ ✅ ✅
CamemBERT ✅ ✅ ❌
CANINE ✅ ❌ ❌
Chinese-CLIP ✅ ❌ ❌
CLAP ✅ ❌ ❌
CLIP ✅ ✅ ✅
CLIPSeg ✅ ❌ ❌
CLVP ✅ ❌ ❌
CodeGen ✅ ❌ ❌
CodeLlama ✅ ❌ ✅
Conditional DETR ✅ ❌ ❌
ConvBERT ✅ ✅ ❌
ConvNeXT ✅ ✅ ❌
ConvNeXTV2 ✅ ✅ ❌
CPM ✅ ✅ ✅
CPM-Ant ✅ ❌ ❌
CTRL ✅ ✅ ❌
CvT ✅ ✅ ❌
Data2VecAudio ✅ ❌ ❌
Data2VecText ✅ ❌ ❌
Data2VecVision ✅ ✅ ❌
DeBERTa ✅ ✅ ❌
DeBERTa-v2 ✅ ✅ ❌
Decision Transformer ✅ ❌ ❌
Deformable DETR ✅ ❌ ❌
DeiT ✅ ✅ ❌
DePlot ✅ ❌ ❌
DETA ✅ ❌ ❌
DETR ✅ ❌ ❌
DialoGPT ✅ ✅ ✅
DiNAT ✅ ❌ ❌
DINOv2 ✅ ❌ ❌
DistilBERT ✅ ✅ ✅
DiT ✅ ❌ ✅
DonutSwin ✅ ❌ ❌
DPR ✅ ✅ ❌
DPT ✅ ❌ ❌
EfficientFormer ✅ ✅ ❌
EfficientNet ✅ ❌ ❌
ELECTRA ✅ ✅ ✅
EnCodec ✅ ❌ ❌
Encoder decoder ✅ ✅ ✅
ERNIE ✅ ❌ ❌
ErnieM ✅ ❌ ❌
ESM ✅ ✅ ❌
FairSeq Machine-Translation ✅ ❌ ❌
Falcon ✅ ❌ ❌
FastSpeech2Conformer ✅ ❌ ❌
FLAN-T5 ✅ ✅ ✅
FLAN-UL2 ✅ ✅ ✅
FlauBERT ✅ ✅ ❌
FLAVA ✅ ❌ ❌
FNet ✅ ❌ ❌
FocalNet ✅ ❌ ❌
Funnel Transformer ✅ ✅ ❌
Fuyu ✅ ❌ ❌
GIT ✅ ❌ ❌
GLPN ✅ ❌ ❌
GPT Neo ✅ ❌ ✅
GPT NeoX ✅ ❌ ❌
GPT NeoX Japanese ✅ ❌ ❌
GPT-J ✅ ✅ ✅
GPT-Sw3 ✅ ✅ ✅
GPTBigCode ✅ ❌ ❌
GPTSAN-japanese ✅ ❌ ❌
Graphormer ✅ ❌ ❌
GroupViT ✅ ✅ ❌
HerBERT ✅ ✅ ✅
Hubert ✅ ✅ ❌
I-BERT ✅ ❌ ❌
IDEFICS ✅ ❌ ❌
ImageGPT ✅ ❌ ❌
Informer ✅ ❌ ❌
InstructBLIP ✅ ❌ ❌
Jukebox ✅ ❌ ❌
KOSMOS-2 ✅ ❌ ❌
LayoutLM ✅ ✅ ❌
LayoutLMv2 ✅ ❌ ❌
LayoutLMv3 ✅ ✅ ❌
LayoutXLM ✅ ❌ ❌
LED ✅ ✅ ❌
LeViT ✅ ❌ ❌
LiLT ✅ ❌ ❌
LLaMA ✅ ❌ ✅
Llama2 ✅ ❌ ✅
LLaVa ✅ ❌ ❌
Longformer ✅ ✅ ❌
LongT5 ✅ ❌ ✅
LUKE ✅ ❌ ❌
LXMERT ✅ ✅ ❌
M-CTC-T ✅ ❌ ❌
M2M100 ✅ ❌ ❌
MADLAD-400 ✅ ✅ ✅
Marian ✅ ✅ ✅
MarkupLM ✅ ❌ ❌
Mask2Former ✅ ❌ ❌
MaskFormer ✅ ❌ ❌
MatCha ✅ ❌ ❌
mBART ✅ ✅ ✅
mBART-50 ✅ ✅ ✅
MEGA ✅ ❌ ❌
Megatron-BERT ✅ ❌ ❌
Megatron-GPT2 ✅ ✅ ✅
MGP-STR ✅ ❌ ❌
Mistral ✅ ❌ ❌
Mixtral ✅ ❌ ❌
mLUKE ✅ ❌ ❌
MMS ✅ ✅ ✅
MobileBERT ✅ ✅ ❌
MobileNetV1 ✅ ❌ ❌
MobileNetV2 ✅ ❌ ❌
MobileViT ✅ ✅ ❌
MobileViTV2 ✅ ❌ ❌
MPNet ✅ ✅ ❌
MPT ✅ ❌ ❌
MRA ✅ ❌ ❌
MT5 ✅ ✅ ✅
MusicGen ✅ ❌ ❌
MVP ✅ ❌ ❌
NAT ✅ ❌ ❌
Nezha ✅ ❌ ❌
NLLB ✅ ❌ ❌
NLLB-MOE ✅ ❌ ❌
Nougat ✅ ✅ ✅
Nyströmformer ✅ ❌ ❌
OneFormer ✅ ❌ ❌
OpenAI GPT ✅ ✅ ❌
OpenAI GPT-2 ✅ ✅ ✅
OpenLlama ✅ ❌ ❌
OPT ✅ ✅ ✅
OWL-ViT ✅ ❌ ❌
OWLv2 ✅ ❌ ❌
PatchTSMixer ✅ ❌ ❌
PatchTST ✅ ❌ ❌
Pegasus ✅ ✅ ✅
PEGASUS-X ✅ ❌ ❌
Perceiver ✅ ❌ ❌
Persimmon ✅ ❌ ❌
Phi ✅ ❌ ❌
PhoBERT ✅ ✅ ✅
Pix2Struct ✅ ❌ ❌
PLBart ✅ ❌ ❌
PoolFormer ✅ ❌ ❌
Pop2Piano ✅ ❌ ❌
ProphetNet ✅ ❌ ❌
PVT ✅ ❌ ❌
QDQBert ✅ ❌ ❌
Qwen2 ✅ ❌ ❌
RAG ✅ ✅ ❌
REALM ✅ ❌ ❌
Reformer ✅ ❌ ❌
RegNet ✅ ✅ ✅
RemBERT ✅ ✅ ❌
ResNet ✅ ✅ ✅
RetriBERT ✅ ❌ ❌
RoBERTa ✅ ✅ ✅
RoBERTa-PreLayerNorm ✅ ✅ ✅
RoCBert ✅ ❌ ❌
RoFormer ✅ ✅ ✅
RWKV ✅ ❌ ❌
SAM ✅ ✅ ❌
SeamlessM4T ✅ ❌ ❌
SeamlessM4Tv2 ✅ ❌ ❌
SegFormer ✅ ✅ ❌
SEW ✅ ❌ ❌
SEW-D ✅ ❌ ❌
SigLIP ✅ ❌ ❌
Speech Encoder decoder ✅ ❌ ✅
Speech2Text ✅ ✅ ❌
SpeechT5 ✅ ❌ ❌
Splinter ✅ ❌ ❌
SqueezeBERT ✅ ❌ ❌
SwiftFormer ✅ ❌ ❌
Swin Transformer ✅ ✅ ❌
Swin Transformer V2 ✅ ❌ ❌
Swin2SR ✅ ❌ ❌
SwitchTransformers ✅ ❌ ❌
T5 ✅ ✅ ✅
T5v1.1 ✅ ✅ ✅
Table Transformer ✅ ❌ ❌
TAPAS ✅ ✅ ❌
TAPEX ✅ ✅ ✅
Time Series Transformer ✅ ❌ ❌
TimeSformer ✅ ❌ ❌
Trajectory Transformer ✅ ❌ ❌
Transformer-XL ✅ ✅ ❌
TrOCR ✅ ❌ ❌
TVLT ✅ ❌ ❌
TVP ✅ ❌ ❌
UL2 ✅ ✅ ✅
UMT5 ✅ ❌ ❌
UniSpeech ✅ ❌ ❌
UniSpeechSat ✅ ❌ ❌
UnivNet ✅ ❌ ❌
UPerNet ✅ ❌ ❌
VAN ✅ ❌ ❌
VideoMAE ✅ ❌ ❌
ViLT ✅ ❌ ❌
VipLlava ✅ ❌ ❌
Vision Encoder decoder ✅ ✅ ✅
VisionTextDualEncoder ✅ ✅ ✅
VisualBERT ✅ ❌ ❌
ViT ✅ ✅ ✅
ViT Hybrid ✅ ❌ ❌
VitDet ✅ ❌ ❌
ViTMAE ✅ ✅ ❌
ViTMatte ✅ ❌ ❌
ViTMSN ✅ ❌ ❌
VITS ✅ ❌ ❌
ViViT ✅ ❌ ❌
Wav2Vec2 ✅ ✅ ✅
Wav2Vec2-BERT ✅ ❌ ❌
Wav2Vec2-Conformer ✅ ❌ ❌
Wav2Vec2Phoneme ✅ ✅ ✅
WavLM ✅ ❌ ❌
Whisper ✅ ✅ ✅
X-CLIP ✅ ❌ ❌
X-MOD ✅ ❌ ❌
XGLM ✅ ✅ ✅
XLM ✅ ✅ ❌
XLM-ProphetNet ✅ ❌ ❌
XLM-RoBERTa ✅ ✅ ✅
XLM-RoBERTa-XL ✅ ❌ ❌
XLM-V ✅ ✅ ✅
XLNet ✅ ✅ ❌
XLS-R ✅ ✅ ✅
XLSR-Wav2Vec2 ✅ ✅ ✅
YOLOS ✅ ❌ ❌
YOSO ✅ ❌ ❌


Transformers 4.37 中文文档(一)(2)https://developer.aliyun.com/article/1565781

相关文章
|
8月前
|
存储 运维 自然语言处理
CRAG 架构解析:如何在生成器前修正错误检索结果
CRAG是一种新型RAG框架,直面检索错误问题:引入轻量级评估器,对检索文档打分并按置信度分流——高分则精炼本地文档(句子级过滤重组),低分则转向网络搜索,中等分则双源协同。从架构上杜绝无关内容污染生成器,显著提升答案准确性与鲁棒性。
458 1
CRAG 架构解析:如何在生成器前修正错误检索结果
|
9月前
|
存储 缓存 并行计算
大模型应用:LlamaIndex 与 LangChain 深度集成构建本地化RAG系统.25
本文详解LlamaIndex与LangChain协同构建本地化RAG系统:以Qwen1.5-1.8B-Chat为基座,通过轻量化验证与工程化落地两阶段示例,实现文档索引、语义检索、提示编排与问答生成全链路本地化,兼顾准确性、可控性与可扩展性。
1022 11
|
10月前
|
运维 安全 算法
RAG 不是万能解,这些场景你一开始就不该用
RAG并非万能,默认滥用反致系统复杂、效果难测。它仅解决“信息获取”,不提升模型能力。最适合四类场景:动态知识更新、需答案溯源、长尾问题密集、需求尚不明确。慎用于强推理、隐性经验、高实时性及高确定性要求场景。核心判断:问题是“找不到信息”,还是“不会处理信息”?
|
10月前
|
测试技术 API
小而强,GLM-4.7-Flash开源
GLM-4.7-Flash正式开源,30B总参、3B激活参数,兼顾性能与效率,支持免费调用。在编程、中文写作、翻译等多场景表现优异,已上线智谱平台,替代GLM-4.5-Flash,提供全新轻量化部署选择。
3279 1
|
11月前
|
人工智能 API
阿里云百炼官网登录入口:前台价格介绍及后台管理控制台链接
阿里云百炼官网登录入口提供AI大模型平台详细介绍及定价说明,开通即享最高7000万免费Tokens。前台了解产品优势,后台获取API-KEY,调用API并查看使用文档,一站式管理大模型应用。
1696 1
|
自然语言处理 PyTorch TensorFlow
Transformers 4.37 中文文档(一)(2)
Transformers 4.37 中文文档(一)
642 1
|
机器学习/深度学习 自然语言处理 PyTorch
精通 Transformers(一)(2)
精通 Transformers(一)
828 4
|
缓存 监控 Java
说一说 SpringCloud Gateway 堆外内存溢出排查
我是小假 期待与你的下一次相遇 ~
1753 5
|
存储 缓存 Shell
Transformers 4.37 中文文档(一)(3)
Transformers 4.37 中文文档(一)
2465 1
Transformers 4.37 中文文档(一)(3)
|
存储 PyTorch TensorFlow
Transformers 4.37 中文文档(二)(2)
Transformers 4.37 中文文档(二)
837 7