AI 助理
备案控制台
开发者社区 人工智能 文章 正文

Transformers 4.37 中文文档（一百）（6）

2024-07-12 38
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Transformers 4.37 中文文档（一百）

Transformers 4.37 中文文档（一百）（5）https://developer.aliyun.com/article/1565789


🤗 Transformers

原文链接：huggingface.co/docs/transformers/v4.37.2/en/index#supported-models-and-frameworks

PyTorch、TensorFlow和JAX的最先进机器学习。

🤗 Transformers 提供 API 和工具，轻松下载和训练最先进的预训练模型。使用预训练模型可以减少计算成本、碳足迹，并节省训练模型所需的时间和资源。这些模型支持不同模态的常见任务，如：

📝 自然语言处理：文本分类、命名实体识别、问题回答、语言建模、摘要、翻译、多项选择和文本生成。

🖼️ 计算机视觉：图像分类、目标检测和分割。

🗣️ 音频：自动语音识别和音频分类。

🐙 多模态：表格问题回答、光学字符识别、从扫描文档中提取信息、视频分类和视觉问题回答。

🤗 Transformers 支持 PyTorch、TensorFlow 和 JAX  之间的框架互操作性。这提供了在模型的生命周期的每个阶段使用不同框架的灵活性；在一个框架中用三行代码训练模型，然后在另一个框架中加载进行推断。模型也可以导出到类似  ONNX 和 TorchScript 的格式，用于在生产环境中部署。

立即加入Hub、论坛或Discord上不断增长的社区！

如果您正在寻找 Hugging Face 团队的定制支持


内容

文档分为五个部分：

  • 开始提供了一个快速浏览库和安装说明，让您快速上手。
  • 教程是初学者开始的好地方。本节将帮助您获得开始使用库所需的基本技能。
  • 操作指南向您展示如何实现特定目标，比如微调预训练模型进行语言建模或如何编写和分享自定义模型。
  • 概念指南提供了更多关于模型、任务和🤗 Transformers 设计哲学背后的概念和思想的讨论和解释。
  • API描述了所有类和函数：
  • 主要类详细介绍了配置、模型、分词器和管道等最重要的类。
  • 模型详细介绍了库中每个模型相关的类和函数。
  • 内部助手详细介绍了内部使用的实用类和函数。

支持的模型和框架

下表表示库中每个模型的当前支持情况，它们是否有 Python 分词器（称为“慢”）。由🤗 Tokenizers 库支持的“快”分词器，它们是否在 Jax（通过 Flax）、PyTorch 和/或 TensorFlow 中有支持。

模型 PyTorch 支持 TensorFlow 支持 Flax 支持
ALBERT ✅ ✅ ✅
ALIGN ✅ ❌ ❌
AltCLIP ✅ ❌ ❌
音频频谱变换器 ✅ ❌ ❌
Autoformer ✅ ❌ ❌
Bark ✅ ❌ ❌
BART ✅ ✅ ✅
BARThez ✅ ✅ ✅
BARTpho ✅ ✅ ✅
BEiT ✅ ❌ ✅
BERT ✅ ✅ ✅
Bert 生成 ✅ ❌ ❌
BertJapanese ✅ ✅ ✅
BERTweet ✅ ✅ ✅
BigBird ✅ ❌ ✅
BigBird-Pegasus ✅ ❌ ❌
BioGpt ✅ ❌ ❌
BiT ✅ ❌ ❌
Blenderbot ✅ ✅ ✅
BlenderbotSmall ✅ ✅ ✅
BLIP ✅ ✅ ❌
BLIP-2 ✅ ❌ ❌
BLOOM ✅ ❌ ✅
BORT ✅ ✅ ✅
BridgeTower ✅ ❌ ❌
BROS ✅ ❌ ❌
ByT5 ✅ ✅ ✅
CamemBERT ✅ ✅ ❌
CANINE ✅ ❌ ❌
Chinese-CLIP ✅ ❌ ❌
CLAP ✅ ❌ ❌
CLIP ✅ ✅ ✅
CLIPSeg ✅ ❌ ❌
CLVP ✅ ❌ ❌
CodeGen ✅ ❌ ❌
CodeLlama ✅ ❌ ✅
Conditional DETR ✅ ❌ ❌
ConvBERT ✅ ✅ ❌
ConvNeXT ✅ ✅ ❌
ConvNeXTV2 ✅ ✅ ❌
CPM ✅ ✅ ✅
CPM-Ant ✅ ❌ ❌
CTRL ✅ ✅ ❌
CvT ✅ ✅ ❌
Data2VecAudio ✅ ❌ ❌
Data2VecText ✅ ❌ ❌
Data2VecVision ✅ ✅ ❌
DeBERTa ✅ ✅ ❌
DeBERTa-v2 ✅ ✅ ❌
Decision Transformer ✅ ❌ ❌
Deformable DETR ✅ ❌ ❌
DeiT ✅ ✅ ❌
DePlot ✅ ❌ ❌
DETA ✅ ❌ ❌
DETR ✅ ❌ ❌
DialoGPT ✅ ✅ ✅
DiNAT ✅ ❌ ❌
DINOv2 ✅ ❌ ❌
DistilBERT ✅ ✅ ✅
DiT ✅ ❌ ✅
DonutSwin ✅ ❌ ❌
DPR ✅ ✅ ❌
DPT ✅ ❌ ❌
EfficientFormer ✅ ✅ ❌
EfficientNet ✅ ❌ ❌
ELECTRA ✅ ✅ ✅
EnCodec ✅ ❌ ❌
Encoder decoder ✅ ✅ ✅
ERNIE ✅ ❌ ❌
ErnieM ✅ ❌ ❌
ESM ✅ ✅ ❌
FairSeq Machine-Translation ✅ ❌ ❌
Falcon ✅ ❌ ❌
FastSpeech2Conformer ✅ ❌ ❌
FLAN-T5 ✅ ✅ ✅
FLAN-UL2 ✅ ✅ ✅
FlauBERT ✅ ✅ ❌
FLAVA ✅ ❌ ❌
FNet ✅ ❌ ❌
FocalNet ✅ ❌ ❌
Funnel Transformer ✅ ✅ ❌
Fuyu ✅ ❌ ❌
GIT ✅ ❌ ❌
GLPN ✅ ❌ ❌
GPT Neo ✅ ❌ ✅
GPT NeoX ✅ ❌ ❌
GPT NeoX Japanese ✅ ❌ ❌
GPT-J ✅ ✅ ✅
GPT-Sw3 ✅ ✅ ✅
GPTBigCode ✅ ❌ ❌
GPTSAN-japanese ✅ ❌ ❌
Graphormer ✅ ❌ ❌
GroupViT ✅ ✅ ❌
HerBERT ✅ ✅ ✅
Hubert ✅ ✅ ❌
I-BERT ✅ ❌ ❌
IDEFICS ✅ ❌ ❌
ImageGPT ✅ ❌ ❌
Informer ✅ ❌ ❌
InstructBLIP ✅ ❌ ❌
Jukebox ✅ ❌ ❌
KOSMOS-2 ✅ ❌ ❌
LayoutLM ✅ ✅ ❌
LayoutLMv2 ✅ ❌ ❌
LayoutLMv3 ✅ ✅ ❌
LayoutXLM ✅ ❌ ❌
LED ✅ ✅ ❌
LeViT ✅ ❌ ❌
LiLT ✅ ❌ ❌
LLaMA ✅ ❌ ✅
Llama2 ✅ ❌ ✅
LLaVa ✅ ❌ ❌
Longformer ✅ ✅ ❌
LongT5 ✅ ❌ ✅
LUKE ✅ ❌ ❌
LXMERT ✅ ✅ ❌
M-CTC-T ✅ ❌ ❌
M2M100 ✅ ❌ ❌
MADLAD-400 ✅ ✅ ✅
Marian ✅ ✅ ✅
MarkupLM ✅ ❌ ❌
Mask2Former ✅ ❌ ❌
MaskFormer ✅ ❌ ❌
MatCha ✅ ❌ ❌
mBART ✅ ✅ ✅
mBART-50 ✅ ✅ ✅
MEGA ✅ ❌ ❌
Megatron-BERT ✅ ❌ ❌
Megatron-GPT2 ✅ ✅ ✅
MGP-STR ✅ ❌ ❌
Mistral ✅ ❌ ❌
Mixtral ✅ ❌ ❌
mLUKE ✅ ❌ ❌
MMS ✅ ✅ ✅
MobileBERT ✅ ✅ ❌
MobileNetV1 ✅ ❌ ❌
MobileNetV2 ✅ ❌ ❌
MobileViT ✅ ✅ ❌
MobileViTV2 ✅ ❌ ❌
MPNet ✅ ✅ ❌
MPT ✅ ❌ ❌
MRA ✅ ❌ ❌
MT5 ✅ ✅ ✅
MusicGen ✅ ❌ ❌
MVP ✅ ❌ ❌
NAT ✅ ❌ ❌
Nezha ✅ ❌ ❌
NLLB ✅ ❌ ❌
NLLB-MOE ✅ ❌ ❌
Nougat ✅ ✅ ✅
Nyströmformer ✅ ❌ ❌
OneFormer ✅ ❌ ❌
OpenAI GPT ✅ ✅ ❌
OpenAI GPT-2 ✅ ✅ ✅
OpenLlama ✅ ❌ ❌
OPT ✅ ✅ ✅
OWL-ViT ✅ ❌ ❌
OWLv2 ✅ ❌ ❌
PatchTSMixer ✅ ❌ ❌
PatchTST ✅ ❌ ❌
Pegasus ✅ ✅ ✅
PEGASUS-X ✅ ❌ ❌
Perceiver ✅ ❌ ❌
Persimmon ✅ ❌ ❌
Phi ✅ ❌ ❌
PhoBERT ✅ ✅ ✅
Pix2Struct ✅ ❌ ❌
PLBart ✅ ❌ ❌
PoolFormer ✅ ❌ ❌
Pop2Piano ✅ ❌ ❌
ProphetNet ✅ ❌ ❌
PVT ✅ ❌ ❌
QDQBert ✅ ❌ ❌
Qwen2 ✅ ❌ ❌
RAG ✅ ✅ ❌
REALM ✅ ❌ ❌
Reformer ✅ ❌ ❌
RegNet ✅ ✅ ✅
RemBERT ✅ ✅ ❌
ResNet ✅ ✅ ✅
RetriBERT ✅ ❌ ❌
RoBERTa ✅ ✅ ✅
RoBERTa-PreLayerNorm ✅ ✅ ✅
RoCBert ✅ ❌ ❌
RoFormer ✅ ✅ ✅
RWKV ✅ ❌ ❌
SAM ✅ ✅ ❌
SeamlessM4T ✅ ❌ ❌
SeamlessM4Tv2 ✅ ❌ ❌
SegFormer ✅ ✅ ❌
SEW ✅ ❌ ❌
SEW-D ✅ ❌ ❌
SigLIP ✅ ❌ ❌
Speech Encoder decoder ✅ ❌ ✅
Speech2Text ✅ ✅ ❌
SpeechT5 ✅ ❌ ❌
Splinter ✅ ❌ ❌
SqueezeBERT ✅ ❌ ❌
SwiftFormer ✅ ❌ ❌
Swin Transformer ✅ ✅ ❌
Swin Transformer V2 ✅ ❌ ❌
Swin2SR ✅ ❌ ❌
SwitchTransformers ✅ ❌ ❌
T5 ✅ ✅ ✅
T5v1.1 ✅ ✅ ✅
Table Transformer ✅ ❌ ❌
TAPAS ✅ ✅ ❌
TAPEX ✅ ✅ ✅
Time Series Transformer ✅ ❌ ❌
TimeSformer ✅ ❌ ❌
Trajectory Transformer ✅ ❌ ❌
Transformer-XL ✅ ✅ ❌
TrOCR ✅ ❌ ❌
TVLT ✅ ❌ ❌
TVP ✅ ❌ ❌
UL2 ✅ ✅ ✅
UMT5 ✅ ❌ ❌
UniSpeech ✅ ❌ ❌
UniSpeechSat ✅ ❌ ❌
UnivNet ✅ ❌ ❌
UPerNet ✅ ❌ ❌
VAN ✅ ❌ ❌
VideoMAE ✅ ❌ ❌
ViLT ✅ ❌ ❌
VipLlava ✅ ❌ ❌
Vision Encoder decoder ✅ ✅ ✅
VisionTextDualEncoder ✅ ✅ ✅
VisualBERT ✅ ❌ ❌
ViT ✅ ✅ ✅
ViT Hybrid ✅ ❌ ❌
VitDet ✅ ❌ ❌
ViTMAE ✅ ✅ ❌
ViTMatte ✅ ❌ ❌
ViTMSN ✅ ❌ ❌
VITS ✅ ❌ ❌
ViViT ✅ ❌ ❌
Wav2Vec2 ✅ ✅ ✅
Wav2Vec2-BERT ✅ ❌ ❌
Wav2Vec2-Conformer ✅ ❌ ❌
Wav2Vec2Phoneme ✅ ✅ ✅
WavLM ✅ ❌ ❌
Whisper ✅ ✅ ✅
X-CLIP ✅ ❌ ❌
X-MOD ✅ ❌ ❌
XGLM ✅ ✅ ✅
XLM ✅ ✅ ❌
XLM-ProphetNet ✅ ❌ ❌
XLM-RoBERTa ✅ ✅ ✅
XLM-RoBERTa-XL ✅ ❌ ❌
XLM-V ✅ ✅ ✅
XLNet ✅ ✅ ❌
XLS-R ✅ ✅ ✅
XLSR-Wav2Vec2 ✅ ✅ ✅
YOLOS ✅ ❌ ❌
YOSO ✅ ❌ ❌
✅ ❌ ❌
RoFormer ✅ ✅ ✅
RWKV ✅ ❌ ❌
SAM ✅ ✅ ❌
SeamlessM4T ✅ ❌ ❌
SeamlessM4Tv2 ✅ ❌ ❌
SegFormer ✅ ✅ ❌
SEW ✅ ❌ ❌
SEW-D ✅ ❌ ❌
SigLIP ✅ ❌ ❌
Speech Encoder decoder ✅ ❌ ✅
Speech2Text ✅ ✅ ❌
SpeechT5 ✅ ❌ ❌
Splinter ✅ ❌ ❌
SqueezeBERT ✅ ❌ ❌
SwiftFormer ✅ ❌ ❌
Swin Transformer ✅ ✅ ❌
Swin Transformer V2 ✅ ❌ ❌
Swin2SR ✅ ❌ ❌
SwitchTransformers ✅ ❌ ❌
T5 ✅ ✅ ✅
T5v1.1 ✅ ✅ ✅
Table Transformer ✅ ❌ ❌
TAPAS ✅ ✅ ❌
TAPEX ✅ ✅ ✅
Time Series Transformer ✅ ❌ ❌
TimeSformer ✅ ❌ ❌
Trajectory Transformer ✅ ❌ ❌
Transformer-XL ✅ ✅ ❌
TrOCR ✅ ❌ ❌
TVLT ✅ ❌ ❌
TVP ✅ ❌ ❌
UL2 ✅ ✅ ✅
UMT5 ✅ ❌ ❌
UniSpeech ✅ ❌ ❌
UniSpeechSat ✅ ❌ ❌
UnivNet ✅ ❌ ❌
UPerNet ✅ ❌ ❌
VAN ✅ ❌ ❌
VideoMAE ✅ ❌ ❌
ViLT ✅ ❌ ❌
VipLlava ✅ ❌ ❌
Vision Encoder decoder ✅ ✅ ✅
VisionTextDualEncoder ✅ ✅ ✅
VisualBERT ✅ ❌ ❌
ViT ✅ ✅ ✅
ViT Hybrid ✅ ❌ ❌
VitDet ✅ ❌ ❌
ViTMAE ✅ ✅ ❌
ViTMatte ✅ ❌ ❌
ViTMSN ✅ ❌ ❌
VITS ✅ ❌ ❌
ViViT ✅ ❌ ❌
Wav2Vec2 ✅ ✅ ✅
Wav2Vec2-BERT ✅ ❌ ❌
Wav2Vec2-Conformer ✅ ❌ ❌
Wav2Vec2Phoneme ✅ ✅ ✅
WavLM ✅ ❌ ❌
Whisper ✅ ✅ ✅
X-CLIP ✅ ❌ ❌
X-MOD ✅ ❌ ❌
XGLM ✅ ✅ ✅
XLM ✅ ✅ ❌
XLM-ProphetNet ✅ ❌ ❌
XLM-RoBERTa ✅ ✅ ✅
XLM-RoBERTa-XL ✅ ❌ ❌
XLM-V ✅ ✅ ✅
XLNet ✅ ✅ ❌
XLS-R ✅ ✅ ✅
XLSR-Wav2Vec2 ✅ ✅ ✅
YOLOS ✅ ❌ ❌
YOSO ✅ ❌ ❌
文章标签：
算法框架/工具
TensorFlow
PyTorch
自然语言处理
API
布客飞龙
目录
相关文章
布客飞龙
|
5月前
|
数据可视化 自动驾驶 机器人
Transformers 4.37 中文文档（五）（4）
Transformers 4.37 中文文档（五）
布客飞龙
48 0
布客飞龙
|
5月前
|
存储 机器学习/深度学习 编解码
Transformers 4.37 中文文档（五）（5）
Transformers 4.37 中文文档（五）
布客飞龙
196 0
布客飞龙
|
5月前
|
PyTorch TensorFlow 调度
Transformers 4.37 中文文档（二）（5）
Transformers 4.37 中文文档（二）
布客飞龙
106 5
布客飞龙
|
5月前
|
存储 JSON 缓存
Transformers 4.37 中文文档（一百）（1）
Transformers 4.37 中文文档（一百）
布客飞龙
52 1
布客飞龙
|
5月前
|
自然语言处理 安全 PyTorch
Transformers 4.37 中文文档（一）（4）
Transformers 4.37 中文文档（一）
布客飞龙
70 1
布客飞龙
|
5月前
|
自然语言处理 PyTorch TensorFlow
Transformers 4.37 中文文档（二）（4）
Transformers 4.37 中文文档（二）
布客飞龙
45 2
布客飞龙
|
5月前
|
存储 自然语言处理 安全
Transformers 4.37 中文文档（二）（3）
Transformers 4.37 中文文档（二）
布客飞龙
68 2
布客飞龙
|
5月前
|
存储 自然语言处理 测试技术
Transformers 4.37 中文文档（八）（4）
Transformers 4.37 中文文档（八）
布客飞龙
90 2
布客飞龙
|
5月前
|
文字识别 自然语言处理 计算机视觉
Transformers 4.37 中文文档（五）（7）
Transformers 4.37 中文文档（五）
布客飞龙
40 0
布客飞龙
|
5月前
|
存储 开发工具 算法框架/工具
Transformers 4.37 中文文档（十）（3）
Transformers 4.37 中文文档（十）
布客飞龙
41 0

热门文章

最新文章

  • 1
    基于区块链的机器学习模型创建方案
  • 2
    性能的极致,Rust的加持,Zed-Dev编辑器快速搭建Python3.10开发环境
  • 3
    首届Global VR Hackathon完结 全球前三甲诞生
  • 4
    我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。
  • 5
    iptables
  • 6
    DevExpress 10.2.4系列-ASPxListBox根据列值不同设置不同图标
  • 7
    jquery的load加载js页面到指定div中
  • 8
    分享平时工作中那些给力的shell命令（更新版）
  • 9
    如何在ubuntu下用SVN commit
  • 10
    hdu 1800 Flying to the Mars
  • 1
    HelloMeme：开源的面部表情与姿态迁移框架，将视频中的人物表情迁移到静态图像中生成动态视频
    103
  • 2
    VSI-Bench：李飞飞谢赛宁团队推出视觉空间智能基准测试集，旨在评估多模态大语言模型在空间认知和理解方面的能力
    32
  • 3
    CLEAR：新加坡国立大学推出线性注意力机制，使8K图像的生成速度提升6.3倍，显著减少了计算量和时间延迟
    35
  • 4
    Kheish：开源的多智能体开发框架，通过 YAML 配置工作流和多个 Agent 共同协作解决复杂任务
    41
  • 5
    Bamba-9B：基于 Mamba2 架构的仅解码语言模型，旨在提高大型语言模型在推理时的效率
    37
  • 6
    DisPose：清华北大等多所高校联合推出基于人物图像增强视频生成技术，实现对人物动画的准确控制和一致性
    43
  • 7
    InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像
    41
  • 8
    Univer：开源全栈 AI 办公工具，支持 Word、Excel、PPT 等文档处理和多人实时协作
    30
  • 9
    《人工智能：驱散新材料数据噪声与填补缺失值的曙光》
    29
  • 10
    《人工智能：解锁新材料最佳掺杂元素及比例的密码》
    21

    • 相关课程

    更多
  • Pytorch实战
  • 深入浅出PyTorch
  • TensorFlow基础教程
  • 跟着指南学PyTorch
  • Tensorflow2.0入门与实战

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    DataWorks售前咨询