AI 助理
文档备案控制台
开发者社区 人工智能 文章 正文

Transformers 4.37 中文文档（一）（1）

2024-07-12 531
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Transformers 4.37 中文文档（一）


开始吧

🤗 Transformers


PyTorch、TensorFlow和JAX的最先进机器学习。

🤗 Transformers 提供 API 和工具，可以轻松下载和训练最先进的预训练模型。使用预训练模型可以减少计算成本、碳足迹，并节省训练模型所需的时间和资源。这些模型支持不同模态中的常见任务，例如：

📝 自然语言处理：文本分类、命名实体识别、问答、语言建模、摘要、翻译、多项选择和文本生成。

🖼️ 计算机视觉：图像分类、目标检测和分割。

🗣️ 音频：自动语音识别和音频分类。

🐙 多模态：表格问答、光学字符识别、从扫描文档中提取信息、视频分类和视觉问答。

🤗 Transformers 支持 PyTorch、TensorFlow 和 JAX 之间的框架互操作性。这提供了在模型生命周期的每个阶段使用不同框架的灵活性；在一个框架中用三行代码训练模型，然后在另一个框架中加载进行推断。模型还可以导出到类似 ONNX 和 TorchScript 的格式，以在生产环境中部署。

立即加入Hub、论坛或Discord上不断增长的社区！

如果您正在寻找 Hugging Face 团队的定制支持


目录

文档分为五个部分：

  • 开始提供了一个快速浏览库和安装说明，让您快速上手。
  • 教程是初学者入门的好地方。本节将帮助您获得开始使用库所需的基本技能。
  • 操作指南向您展示如何实现特定目标，例如对预训练模型进行微调以进行语言建模，或者如何编写和共享自定义模型。
  • 概念指南提供了更多关于模型、任务和🤗 Transformers 设计理念背后的概念和思想的讨论和解释。
  • API描述了所有类和函数：
  • 主要类详细介绍了配置、模型、分词器和管道等最重要的类。
  • 模型详细介绍了库中实现的每个模型相关的类和函数。
  • 内部助手详细介绍了内部使用的实用类和函数。

支持的模型和框架

下表表示库中对这些模型的当前支持，它们是否有 Python 分词器（称为“slow”）。由🤗 Tokenizers 库支持的“fast”分词器，它们是否在 Jax（通过 Flax）、PyTorch 和/或 TensorFlow 中有支持。

模型 PyTorch 支持 TensorFlow 支持 Flax 支持
ALBERT ✅ ✅ ✅
ALIGN ✅ ❌ ❌
AltCLIP ✅ ❌ ❌
Audio Spectrogram Transformer ✅ ❌ ❌
Autoformer ✅ ❌ ❌
Bark ✅ ❌ ❌
BART ✅ ✅ ✅
BARThez ✅ ✅ ✅
BARTpho ✅ ✅ ✅
BEiT ✅ ❌ ✅
BERT ✅ ✅ ✅
Bert Generation ✅ ❌ ❌
BertJapanese ✅ ✅ ✅
BERTweet ✅ ✅ ✅
BigBird ✅ ❌ ✅
BigBird-Pegasus ✅ ❌ ❌
BioGpt ✅ ❌ ❌
BiT ✅ ❌ ❌
Blenderbot ✅ ✅ ✅
BlenderbotSmall ✅ ✅ ✅
BLIP ✅ ✅ ❌
BLIP-2 ✅ ❌ ❌
BLOOM ✅ ❌ ✅
BORT ✅ ✅ ✅
BridgeTower ✅ ❌ ❌
BROS ✅ ❌ ❌
ByT5 ✅ ✅ ✅
CamemBERT ✅ ✅ ❌
CANINE ✅ ❌ ❌
Chinese-CLIP ✅ ❌ ❌
CLAP ✅ ❌ ❌
CLIP ✅ ✅ ✅
CLIPSeg ✅ ❌ ❌
CLVP ✅ ❌ ❌
CodeGen ✅ ❌ ❌
CodeLlama ✅ ❌ ✅
Conditional DETR ✅ ❌ ❌
ConvBERT ✅ ✅ ❌
ConvNeXT ✅ ✅ ❌
ConvNeXTV2 ✅ ✅ ❌
CPM ✅ ✅ ✅
CPM-Ant ✅ ❌ ❌
CTRL ✅ ✅ ❌
CvT ✅ ✅ ❌
Data2VecAudio ✅ ❌ ❌
Data2VecText ✅ ❌ ❌
Data2VecVision ✅ ✅ ❌
DeBERTa ✅ ✅ ❌
DeBERTa-v2 ✅ ✅ ❌
Decision Transformer ✅ ❌ ❌
Deformable DETR ✅ ❌ ❌
DeiT ✅ ✅ ❌
DePlot ✅ ❌ ❌
DETA ✅ ❌ ❌
DETR ✅ ❌ ❌
DialoGPT ✅ ✅ ✅
DiNAT ✅ ❌ ❌
DINOv2 ✅ ❌ ❌
DistilBERT ✅ ✅ ✅
DiT ✅ ❌ ✅
DonutSwin ✅ ❌ ❌
DPR ✅ ✅ ❌
DPT ✅ ❌ ❌
EfficientFormer ✅ ✅ ❌
EfficientNet ✅ ❌ ❌
ELECTRA ✅ ✅ ✅
EnCodec ✅ ❌ ❌
Encoder decoder ✅ ✅ ✅
ERNIE ✅ ❌ ❌
ErnieM ✅ ❌ ❌
ESM ✅ ✅ ❌
FairSeq Machine-Translation ✅ ❌ ❌
Falcon ✅ ❌ ❌
FastSpeech2Conformer ✅ ❌ ❌
FLAN-T5 ✅ ✅ ✅
FLAN-UL2 ✅ ✅ ✅
FlauBERT ✅ ✅ ❌
FLAVA ✅ ❌ ❌
FNet ✅ ❌ ❌
FocalNet ✅ ❌ ❌
Funnel Transformer ✅ ✅ ❌
Fuyu ✅ ❌ ❌
GIT ✅ ❌ ❌
GLPN ✅ ❌ ❌
GPT Neo ✅ ❌ ✅
GPT NeoX ✅ ❌ ❌
GPT NeoX Japanese ✅ ❌ ❌
GPT-J ✅ ✅ ✅
GPT-Sw3 ✅ ✅ ✅
GPTBigCode ✅ ❌ ❌
GPTSAN-japanese ✅ ❌ ❌
Graphormer ✅ ❌ ❌
GroupViT ✅ ✅ ❌
HerBERT ✅ ✅ ✅
Hubert ✅ ✅ ❌
I-BERT ✅ ❌ ❌
IDEFICS ✅ ❌ ❌
ImageGPT ✅ ❌ ❌
Informer ✅ ❌ ❌
InstructBLIP ✅ ❌ ❌
Jukebox ✅ ❌ ❌
KOSMOS-2 ✅ ❌ ❌
LayoutLM ✅ ✅ ❌
LayoutLMv2 ✅ ❌ ❌
LayoutLMv3 ✅ ✅ ❌
LayoutXLM ✅ ❌ ❌
LED ✅ ✅ ❌
LeViT ✅ ❌ ❌
LiLT ✅ ❌ ❌
LLaMA ✅ ❌ ✅
Llama2 ✅ ❌ ✅
LLaVa ✅ ❌ ❌
Longformer ✅ ✅ ❌
LongT5 ✅ ❌ ✅
LUKE ✅ ❌ ❌
LXMERT ✅ ✅ ❌
M-CTC-T ✅ ❌ ❌
M2M100 ✅ ❌ ❌
MADLAD-400 ✅ ✅ ✅
Marian ✅ ✅ ✅
MarkupLM ✅ ❌ ❌
Mask2Former ✅ ❌ ❌
MaskFormer ✅ ❌ ❌
MatCha ✅ ❌ ❌
mBART ✅ ✅ ✅
mBART-50 ✅ ✅ ✅
MEGA ✅ ❌ ❌
Megatron-BERT ✅ ❌ ❌
Megatron-GPT2 ✅ ✅ ✅
MGP-STR ✅ ❌ ❌
Mistral ✅ ❌ ❌
Mixtral ✅ ❌ ❌
mLUKE ✅ ❌ ❌
MMS ✅ ✅ ✅
MobileBERT ✅ ✅ ❌
MobileNetV1 ✅ ❌ ❌
MobileNetV2 ✅ ❌ ❌
MobileViT ✅ ✅ ❌
MobileViTV2 ✅ ❌ ❌
MPNet ✅ ✅ ❌
MPT ✅ ❌ ❌
MRA ✅ ❌ ❌
MT5 ✅ ✅ ✅
MusicGen ✅ ❌ ❌
MVP ✅ ❌ ❌
NAT ✅ ❌ ❌
Nezha ✅ ❌ ❌
NLLB ✅ ❌ ❌
NLLB-MOE ✅ ❌ ❌
Nougat ✅ ✅ ✅
Nyströmformer ✅ ❌ ❌
OneFormer ✅ ❌ ❌
OpenAI GPT ✅ ✅ ❌
OpenAI GPT-2 ✅ ✅ ✅
OpenLlama ✅ ❌ ❌
OPT ✅ ✅ ✅
OWL-ViT ✅ ❌ ❌
OWLv2 ✅ ❌ ❌
PatchTSMixer ✅ ❌ ❌
PatchTST ✅ ❌ ❌
Pegasus ✅ ✅ ✅
PEGASUS-X ✅ ❌ ❌
Perceiver ✅ ❌ ❌
Persimmon ✅ ❌ ❌
Phi ✅ ❌ ❌
PhoBERT ✅ ✅ ✅
Pix2Struct ✅ ❌ ❌
PLBart ✅ ❌ ❌
PoolFormer ✅ ❌ ❌
Pop2Piano ✅ ❌ ❌
ProphetNet ✅ ❌ ❌
PVT ✅ ❌ ❌
QDQBert ✅ ❌ ❌
Qwen2 ✅ ❌ ❌
RAG ✅ ✅ ❌
REALM ✅ ❌ ❌
Reformer ✅ ❌ ❌
RegNet ✅ ✅ ✅
RemBERT ✅ ✅ ❌
ResNet ✅ ✅ ✅
RetriBERT ✅ ❌ ❌
RoBERTa ✅ ✅ ✅
RoBERTa-PreLayerNorm ✅ ✅ ✅
RoCBert ✅ ❌ ❌
RoFormer ✅ ✅ ✅
RWKV ✅ ❌ ❌
SAM ✅ ✅ ❌
SeamlessM4T ✅ ❌ ❌
SeamlessM4Tv2 ✅ ❌ ❌
SegFormer ✅ ✅ ❌
SEW ✅ ❌ ❌
SEW-D ✅ ❌ ❌
SigLIP ✅ ❌ ❌
Speech Encoder decoder ✅ ❌ ✅
Speech2Text ✅ ✅ ❌
SpeechT5 ✅ ❌ ❌
Splinter ✅ ❌ ❌
SqueezeBERT ✅ ❌ ❌
SwiftFormer ✅ ❌ ❌
Swin Transformer ✅ ✅ ❌
Swin Transformer V2 ✅ ❌ ❌
Swin2SR ✅ ❌ ❌
SwitchTransformers ✅ ❌ ❌
T5 ✅ ✅ ✅
T5v1.1 ✅ ✅ ✅
Table Transformer ✅ ❌ ❌
TAPAS ✅ ✅ ❌
TAPEX ✅ ✅ ✅
Time Series Transformer ✅ ❌ ❌
TimeSformer ✅ ❌ ❌
Trajectory Transformer ✅ ❌ ❌
Transformer-XL ✅ ✅ ❌
TrOCR ✅ ❌ ❌
TVLT ✅ ❌ ❌
TVP ✅ ❌ ❌
UL2 ✅ ✅ ✅
UMT5 ✅ ❌ ❌
UniSpeech ✅ ❌ ❌
UniSpeechSat ✅ ❌ ❌
UnivNet ✅ ❌ ❌
UPerNet ✅ ❌ ❌
VAN ✅ ❌ ❌
VideoMAE ✅ ❌ ❌
ViLT ✅ ❌ ❌
VipLlava ✅ ❌ ❌
Vision Encoder decoder ✅ ✅ ✅
VisionTextDualEncoder ✅ ✅ ✅
VisualBERT ✅ ❌ ❌
ViT ✅ ✅ ✅
ViT Hybrid ✅ ❌ ❌
VitDet ✅ ❌ ❌
ViTMAE ✅ ✅ ❌
ViTMatte ✅ ❌ ❌
ViTMSN ✅ ❌ ❌
VITS ✅ ❌ ❌
ViViT ✅ ❌ ❌
Wav2Vec2 ✅ ✅ ✅
Wav2Vec2-BERT ✅ ❌ ❌
Wav2Vec2-Conformer ✅ ❌ ❌
Wav2Vec2Phoneme ✅ ✅ ✅
WavLM ✅ ❌ ❌
Whisper ✅ ✅ ✅
X-CLIP ✅ ❌ ❌
X-MOD ✅ ❌ ❌
XGLM ✅ ✅ ✅
XLM ✅ ✅ ❌
XLM-ProphetNet ✅ ❌ ❌
XLM-RoBERTa ✅ ✅ ✅
XLM-RoBERTa-XL ✅ ❌ ❌
XLM-V ✅ ✅ ✅
XLNet ✅ ✅ ❌
XLS-R ✅ ✅ ✅
XLSR-Wav2Vec2 ✅ ✅ ✅
YOLOS ✅ ❌ ❌
YOSO ✅ ❌ ❌


Transformers 4.37 中文文档（一）（2）https://developer.aliyun.com/article/1565781

文章标签：
算法框架/工具
TensorFlow
PyTorch
自然语言处理
API
布客飞龙
目录
相关文章
AI未闻花名
|
4月前
|
存储 缓存 并行计算
大模型应用：LlamaIndex 与 LangChain 深度集成构建本地化RAG系统.25
本文详解LlamaIndex与LangChain协同构建本地化RAG系统：以Qwen1.5-1.8B-Chat为基座，通过轻量化验证与工程化落地两阶段示例，实现文档索引、语义检索、提示编排与问答生成全链路本地化，兼顾准确性、可控性与可扩展性。
AI未闻花名
700 11
aliyun1792367740-35101
|
存储 算法
细谈多重背包问题
细谈多重背包问题
aliyun1792367740-35101
585 1
细谈多重背包问题
布客飞龙
|
自然语言处理 PyTorch TensorFlow
Transformers 4.37 中文文档（一）（2）
Transformers 4.37 中文文档（一）
布客飞龙
562 1
布客飞龙
|
机器学习/深度学习 自然语言处理 PyTorch
精通 Transformers（一）（2）
精通 Transformers（一）
布客飞龙
724 4
阿里云开发者
|
机器学习/深度学习 人工智能 自然语言处理
一文彻底讲透GPT架构及推理原理
本篇是作者从开发人员的视角，围绕着大模型正向推理过程，对大模型的原理的系统性总结，希望对初学者有所帮助。
阿里云开发者
4165 1
程序媛在线
|
弹性计算 容灾 对象存储
阿里云2核4G5M服务器一年和五年价格表_轻量和ECS租用费用
2023阿里云2核4G5M服务器一年和五年价格表_轻量和ECS租用费用
程序媛在线
752 0
阿里云2核4G5M服务器一年和五年价格表_轻量和ECS租用费用
喜欢猪猪
|
存储 人工智能 自然语言处理
基于LLamaIndex构建企业级私有知识库：RAG Workflow工作流详解
【11月更文挑战第12天】随着生成式AI的快速发展，企业对智能化信息检索和生成的需求日益增加。传统的知识库系统往往局限于静态的数据存储和查询，难以满足复杂多变的业务需求。而检索增强生成（RAG, Retrieval-Augmented Generation）技术的出现，为企业级私有知识库的建设提供了新的解决方案。LLamaIndex作为专为LLMs（大型语言模型）设计的私有知识索引工具，结合RAG Workflow工作流，能够构建高效、智能的企业级私有知识库，满足企业对于知识管理和智能问答的多样化需求。
喜欢猪猪
2566 4
布客飞龙
|
存储 缓存 Shell
Transformers 4.37 中文文档（一）（3）
Transformers 4.37 中文文档（一）
布客飞龙
2224 1
Transformers 4.37 中文文档（一）（3）
布客飞龙
|
自然语言处理 安全 PyTorch
Transformers 4.37 中文文档（一）（4）
Transformers 4.37 中文文档（一）
布客飞龙
485 1
布客飞龙
|
PyTorch TensorFlow 调度
Transformers 4.37 中文文档（一）（5）
Transformers 4.37 中文文档（一）
布客飞龙
291 1

热门文章

最新文章

  • 1
    并发编程系列之CLH锁
  • 2
    MySQL · 引擎特性 · InnoDB redo log漫游
  • 3
    AliOS Things 3.0应用笔记：支付宝小程序设备控制 - 全栈开发（附全部源码）
  • 4
    阿里云李飞飞：All in Cloud时代，云原生数据库优势明显
  • 5
    阿里云中间件有哪些？这里最全面
  • 6
    【近战2】移动电商搜索个性化技术
  • 7
    12c DataGuard switchover to 'primary'
  • 8
    hdu 2473 Junk-Mail Filter(并查集+虚拟节点)
  • 9
    php获取访客所在城市名称代码
  • 10
    Metro style app 文件、文件夹的选择、文件的保存。
  • 1
    阿里云百炼大模型指南：Token Plan与Coding Plan产品区别及订阅方案、计费规则与活动福利详解
    51
  • 2
    阿里云ECS云服务器零基础部署AI Agent 配置百炼Token Plan 保姆级教程
    51
  • 3
    【.NET 4.5】.NET Framework 4.5下载、安装和使用一篇搞定（附官网安装包）
    44
  • 4
    别和编译器硬刚了！Tauri状态管理与IPC通信的硬核避坑指南
    40
  • 5
    Claude Code自我进化系统解析：AI编程助手持久化记忆与行为学习实现方案
    47
  • 6
    Claude Code AI编程成本优化管控指南：个人开发者省钱实操全解
    45
  • 7
    相关性与因果性：识别伪相关以提升模型在真实环境的可用性
    36
  • 8
    什么时候该升级，什么时候再等等
    40
  • 9
    阿里云百炼通义千问Qwen3.6-Flash完整实操指南：轻量化旗舰功能特性、落地优势与分层优惠订阅方案详解
    65
  • 10
    阿里云百炼Token Plan团队版与Coding Plan核心差异全解析 附团队版全场景常见问题完整答疑
    54

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    阿里云数据库产品支持免费试用吗？最新可试用数据库规格信息、配置及可试用人群参考