AI 助理
备案控制台
开发者社区 人工智能 文章 正文

Transformers 4.37 中文文档（一百）（5）

2024-07-12 123
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Transformers 4.37 中文文档（一百）

Transformers 4.37 中文文档（一百）（4）https://developer.aliyun.com/article/1565788


🤗 Transformers

原文链接：huggingface.co/docs/transformers/v4.37.2/en/index#contents

PyTorch、TensorFlow和JAX的最先进机器学习。

🤗 Transformers 提供 API 和工具，可轻松下载和训练最先进的预训练模型。使用预训练模型可以减少计算成本、碳足迹，并节省训练模型所需的时间和资源。这些模型支持不同模态的常见任务，如：

📝 自然语言处理：文本分类、命名实体识别、问答、语言建模、摘要、翻译、多项选择和文本生成。

🖼️ 计算机视觉：图像分类、目标检测和分割。

🗣️ 音频：自动语音识别和音频分类。

🐙 多模态：表格问答、光学字符识别、从扫描文档中提取信息、视频分类和视觉问答。

🤗 Transformers 支持 PyTorch、TensorFlow 和 JAX  之间的框架互操作性。这提供了在模型的生命周期的每个阶段使用不同框架的灵活性；在一个框架中用三行代码训练模型，然后在另一个框架中加载进行推断。模型还可以导出到  ONNX 和 TorchScript 等格式，以在生产环境中部署。

立即加入不断增长的社区，参与Hub、论坛或Discord！

如果您正在寻找 Hugging Face 团队的定制支持


目录

文档分为五个部分：

  • 开始提供了一个快速浏览库和安装说明，让您快速上手。
  • 教程是初学者入门的好地方。本节将帮助您获得开始使用库所需的基本技能。
  • 操作指南向您展示如何实现特定目标，比如微调预训练模型用于语言建模，或者如何编写和分享自定义模型。
  • 概念指南提供了更多关于模型、任务和🤗 Transformers 设计理念背后的概念和想法的讨论和解释。
  • API描述了所有类和函数：
  • 主要类详细介绍了配置、模型、分词器和管道等最重要的类。
  • 模型详细介绍了库中实现的每个模型相关的类和函数。
  • 内部助手详细介绍了内部使用的实用类和函数。

支持的模型和框架

下表表示库中对每个模型的当前支持情况，它们是否有 Python 分词器（称为“slow”）。一个由🤗 Tokenizers 库支持的“fast”分词器，以及它们在 Jax（通过 Flax）、PyTorch 和/或 TensorFlow 中的支持情况。

模型 PyTorch 支持 TensorFlow 支持 Flax 支持
ALBERT ✅ ✅ ✅
ALIGN ✅ ❌ ❌
AltCLIP ✅ ❌ ❌
音频频谱变换器 ✅ ❌ ❌
Autoformer ✅ ❌ ❌
Bark ✅ ❌ ❌
BART ✅ ✅ ✅
BARThez ✅ ✅ ✅
BARTpho ✅ ✅ ✅
BEiT ✅ ❌ ✅
BERT ✅ ✅ ✅
Bert 生成 ✅ ❌ ❌
Bert 日语 ✅ ✅ ✅
BERTweet ✅ ✅ ✅
BigBird ✅ ❌ ✅
BigBird-Pegasus ✅ ❌ ❌
BioGpt ✅ ❌ ❌
BiT ✅ ❌ ❌
Blenderbot ✅ ✅ ✅
BlenderbotSmall ✅ ✅ ✅
BLIP ✅ ✅ ❌
BLIP-2 ✅ ❌ ❌
BLOOM ✅ ❌ ✅
BORT ✅ ✅ ✅
BridgeTower ✅ ❌ ❌
BROS ✅ ❌ ❌
ByT5 ✅ ✅ ✅
CamemBERT ✅ ✅ ❌
CANINE ✅ ❌ ❌
Chinese-CLIP ✅ ❌ ❌
CLAP ✅ ❌ ❌
CLIP ✅ ✅ ✅
CLIPSeg ✅ ❌ ❌
CLVP ✅ ❌ ❌
CodeGen ✅ ❌ ❌
CodeLlama ✅ ❌ ✅
Conditional DETR ✅ ❌ ❌
ConvBERT ✅ ✅ ❌
ConvNeXT ✅ ✅ ❌
ConvNeXTV2 ✅ ✅ ❌
CPM ✅ ✅ ✅
CPM-Ant ✅ ❌ ❌
CTRL ✅ ✅ ❌
CvT ✅ ✅ ❌
Data2VecAudio ✅ ❌ ❌
Data2VecText ✅ ❌ ❌
Data2VecVision ✅ ✅ ❌
DeBERTa ✅ ✅ ❌
DeBERTa-v2 ✅ ✅ ❌
Decision Transformer ✅ ❌ ❌
Deformable DETR ✅ ❌ ❌
DeiT ✅ ✅ ❌
DePlot ✅ ❌ ❌
DETA ✅ ❌ ❌
DETR ✅ ❌ ❌
DialoGPT ✅ ✅ ✅
DiNAT ✅ ❌ ❌
DINOv2 ✅ ❌ ❌
DistilBERT ✅ ✅ ✅
DiT ✅ ❌ ✅
DonutSwin ✅ ❌ ❌
DPR ✅ ✅ ❌
DPT ✅ ❌ ❌
EfficientFormer ✅ ✅ ❌
EfficientNet ✅ ❌ ❌
ELECTRA ✅ ✅ ✅
EnCodec ✅ ❌ ❌
Encoder decoder ✅ ✅ ✅
ERNIE ✅ ❌ ❌
ErnieM ✅ ❌ ❌
ESM ✅ ✅ ❌
FairSeq Machine-Translation ✅ ❌ ❌
Falcon ✅ ❌ ❌
FastSpeech2Conformer ✅ ❌ ❌
FLAN-T5 ✅ ✅ ✅
FLAN-UL2 ✅ ✅ ✅
FlauBERT ✅ ✅ ❌
FLAVA ✅ ❌ ❌
FNet ✅ ❌ ❌
FocalNet ✅ ❌ ❌
Funnel Transformer ✅ ✅ ❌
Fuyu ✅ ❌ ❌
GIT ✅ ❌ ❌
GLPN ✅ ❌ ❌
GPT Neo ✅ ❌ ✅
GPT NeoX ✅ ❌ ❌
GPT NeoX Japanese ✅ ❌ ❌
GPT-J ✅ ✅ ✅
GPT-Sw3 ✅ ✅ ✅
GPTBigCode ✅ ❌ ❌
GPTSAN-japanese ✅ ❌ ❌
Graphormer ✅ ❌ ❌
GroupViT ✅ ✅ ❌
HerBERT ✅ ✅ ✅
Hubert ✅ ✅ ❌
I-BERT ✅ ❌ ❌
IDEFICS ✅ ❌ ❌
ImageGPT ✅ ❌ ❌
Informer ✅ ❌ ❌
InstructBLIP ✅ ❌ ❌
Jukebox ✅ ❌ ❌
KOSMOS-2 ✅ ❌ ❌
LayoutLM ✅ ✅ ❌
LayoutLMv2 ✅ ❌ ❌
LayoutLMv3 ✅ ✅ ❌
LayoutXLM ✅ ❌ ❌
LED ✅ ✅ ❌
LeViT ✅ ❌ ❌
LiLT ✅ ❌ ❌
LLaMA ✅ ❌ ✅
Llama2 ✅ ❌ ✅
LLaVa ✅ ❌ ❌
Longformer ✅ ✅ ❌
LongT5 ✅ ❌ ✅
LUKE ✅ ❌ ❌
LXMERT ✅ ✅ ❌
M-CTC-T ✅ ❌ ❌
M2M100 ✅ ❌ ❌
MADLAD-400 ✅ ✅ ✅
Marian ✅ ✅ ✅
MarkupLM ✅ ❌ ❌
Mask2Former ✅ ❌ ❌
MaskFormer ✅ ❌ ❌
MatCha ✅ ❌ ❌
mBART ✅ ✅ ✅
mBART-50 ✅ ✅ ✅
MEGA ✅ ❌ ❌
Megatron-BERT ✅ ❌ ❌
Megatron-GPT2 ✅ ✅ ✅
MGP-STR ✅ ❌ ❌
Mistral ✅ ❌ ❌
Mixtral ✅ ❌ ❌
mLUKE ✅ ❌ ❌
MMS ✅ ✅ ✅
MobileBERT ✅ ✅ ❌
MobileNetV1 ✅ ❌ ❌
MobileNetV2 ✅ ❌ ❌
MobileViT ✅ ✅ ❌
MobileViTV2 ✅ ❌ ❌
MPNet ✅ ✅ ❌
MPT ✅ ❌ ❌
MRA ✅ ❌ ❌
MT5 ✅ ✅ ✅
MusicGen ✅ ❌ ❌
MVP ✅ ❌ ❌
NAT ✅ ❌ ❌
Nezha ✅ ❌ ❌
NLLB ✅ ❌ ❌
NLLB-MOE ✅ ❌ ❌
Nougat ✅ ✅ ✅
Nyströmformer ✅ ❌ ❌
OneFormer ✅ ❌ ❌
OpenAI GPT ✅ ✅ ❌
OpenAI GPT-2 ✅ ✅ ✅
OpenLlama ✅ ❌ ❌
OPT ✅ ✅ ✅
OWL-ViT ✅ ❌ ❌
OWLv2 ✅ ❌ ❌
PatchTSMixer ✅ ❌ ❌
PatchTST ✅ ❌ ❌
Pegasus ✅ ✅ ✅
PEGASUS-X ✅ ❌ ❌
Perceiver ✅ ❌ ❌
Persimmon ✅ ❌ ❌
Phi ✅ ❌ ❌
PhoBERT ✅ ✅ ✅
Pix2Struct ✅ ❌ ❌
PLBart ✅ ❌ ❌
PoolFormer ✅ ❌ ❌
Pop2Piano ✅ ❌ ❌
ProphetNet ✅ ❌ ❌
PVT ✅ ❌ ❌
QDQBert ✅ ❌ ❌
Qwen2 ✅ ❌ ❌
RAG ✅ ✅ ❌
REALM ✅ ❌ ❌
Reformer ✅ ❌ ❌
RegNet ✅ ✅ ✅
RemBERT ✅ ✅ ❌
ResNet ✅ ✅ ✅
RetriBERT ✅ ❌ ❌
RoBERTa ✅ ✅ ✅
RoBERTa-PreLayerNorm ✅ ✅ ✅
RoCBert ✅ ❌ ❌
RoFormer ✅ ✅ ✅
RWKV ✅ ❌ ❌
SAM ✅ ✅ ❌
SeamlessM4T ✅ ❌ ❌
SeamlessM4Tv2 ✅ ❌ ❌
SegFormer ✅ ✅ ❌
SEW ✅ ❌ ❌
SEW-D ✅ ❌ ❌
SigLIP ✅ ❌ ❌
Speech Encoder decoder ✅ ❌ ✅
Speech2Text ✅ ✅ ❌
SpeechT5 ✅ ❌ ❌
Splinter ✅ ❌ ❌
SqueezeBERT ✅ ❌ ❌
SwiftFormer ✅ ❌ ❌
Swin Transformer ✅ ✅ ❌
Swin Transformer V2 ✅ ❌ ❌
Swin2SR ✅ ❌ ❌
SwitchTransformers ✅ ❌ ❌
T5 ✅ ✅ ✅
T5v1.1 ✅ ✅ ✅
Table Transformer ✅ ❌ ❌
TAPAS ✅ ✅ ❌
TAPEX ✅ ✅ ✅
Time Series Transformer ✅ ❌ ❌
TimeSformer ✅ ❌ ❌
Trajectory Transformer ✅ ❌ ❌
Transformer-XL ✅ ✅ ❌
TrOCR ✅ ❌ ❌
TVLT ✅ ❌ ❌
TVP ✅ ❌ ❌
UL2 ✅ ✅ ✅
UMT5 ✅ ❌ ❌
UniSpeech ✅ ❌ ❌
UniSpeechSat ✅ ❌ ❌
UnivNet ✅ ❌ ❌
UPerNet ✅ ❌ ❌
VAN ✅ ❌ ❌
VideoMAE ✅ ❌ ❌
ViLT ✅ ❌ ❌
VipLlava ✅ ❌ ❌
Vision Encoder decoder ✅ ✅ ✅
VisionTextDualEncoder ✅ ✅ ✅
VisualBERT ✅ ❌ ❌
ViT ✅ ✅ ✅
ViT Hybrid ✅ ❌ ❌
VitDet ✅ ❌ ❌
ViTMAE ✅ ✅ ❌
ViTMatte ✅ ❌ ❌
ViTMSN ✅ ❌ ❌
VITS ✅ ❌ ❌
ViViT ✅ ❌ ❌
Wav2Vec2 ✅ ✅ ✅
Wav2Vec2-BERT ✅ ❌ ❌
Wav2Vec2-Conformer ✅ ❌ ❌
Wav2Vec2Phoneme ✅ ✅ ✅
WavLM ✅ ❌ ❌
Whisper ✅ ✅ ✅
X-CLIP ✅ ❌ ❌
X-MOD ✅ ❌ ❌
XGLM ✅ ✅ ✅
XLM ✅ ✅ ❌
XLM-ProphetNet ✅ ❌ ❌
XLM-RoBERTa ✅ ✅ ✅
XLM-RoBERTa-XL ✅ ❌ ❌
XLM-V ✅ ✅ ✅
XLNet ✅ ✅ ❌
XLS-R ✅ ✅ ✅
XLSR-Wav2Vec2 ✅ ✅ ✅
YOLOS ✅ ❌ ❌
YOSO ✅ ❌ ❌


Transformers 4.37 中文文档（一百）（6）https://developer.aliyun.com/article/1565790

文章标签：
算法框架/工具
TensorFlow
PyTorch
自然语言处理
API
布客飞龙
目录
相关文章
水冗水孚
echarts修改tooltip默认样式（使用formatter函数拼接加工）
echarts修改tooltip默认样式（使用formatter函数拼接加工）
水冗水孚
1029 0
泡沫o0
|
测试技术 编译器 vr&ar
CMake深度解析：掌握add_custom_command，精通Makefile生成规则（一）
CMake深度解析：掌握add_custom_command，精通Makefile生成规则
泡沫o0
1226 1
wj123
|
数据采集 人工智能 机器人
RPA与爬虫：自动化工具的本质差异与选择指南
本文深入解析RPA与爬虫的本质差异，帮助企业根据业务需求明智选型。RPA侧重内部流程自动化，爬虫专注外部数据采集。内容涵盖技术原理、应用场景、优劣势对比及主流RPA工具介绍，助力把握自动化趋势，提升效率。
wj123
1058 0
蓝易云
|
8月前
|
缓存 Java Spring
IDEA中配置HTML和Thymeleaf热部署的步骤
以上就是在IntelliJ IDEA中配置HTML和Thymeleaf热部署的步骤。这样的配置可以大大提高你的开发效率，让你更专注于代码的编写，而不是等待应用的重启。希望这个指南对你有所帮助！
蓝易云
546 21
lqj_本人
|
JavaScript 数据管理 虚拟化
ArkTS List组件基础：掌握列表渲染与动态数据管理
在HarmonyOS应用开发中，ArkTS的List组件是构建动态列表视图的核心。本文深入探讨了List组件的基础，包括数据展示、性能优化和用户交互，以及如何在实际开发中应用这些知识，提升开发效率和应用性能。通过定义数据源、渲染列表项和动态数据管理，结合虚拟化列表和条件渲染等技术，帮助开发者构建高效、响应式的用户界面。
lqj_本人
1031 2
泥腿子架构师
|
存储 运维 监控
Java中的实时日志分析与可视化
Java中的实时日志分析与可视化
泥腿子架构师
583 1
Harry技术
|
11月前
|
存储 Cloud Native Java
Windows下Minio的安装以及基本使用
MinIO 是一个开源的云原生分布式对象存储系统，兼容亚马逊S3接口，适合存储大容量非结构化数据。本文介绍Windows下MinIO的安装与基本使用：通过以上步骤，您可以在Windows环境中成功安装并使用MinIO。
Harry技术
7520 18
布客飞龙
|
数据可视化 自动驾驶 机器人
Transformers 4.37 中文文档（五）（4）
Transformers 4.37 中文文档（五）
布客飞龙
106 0
栈江湖
|
12月前
|
消息中间件 存储 负载均衡
2024消息队列“四大天王”：Rabbit、Rocket、Kafka、Pulsar巅峰对决
本文对比了 RabbitMQ、RocketMQ、Kafka 和 Pulsar 四种消息队列系统，涵盖架构、性能、可用性和适用场景。RabbitMQ 以灵活路由和可靠性著称；RocketMQ 支持高可用和顺序消息；Kafka 专为高吞吐量和低延迟设计；Pulsar 提供多租户支持和高可扩展性。性能方面，吞吐量从高到低依次为
栈江湖
4330 1
土木林森
|
编解码 前端开发 JavaScript
【专栏：HTML与CSS实战项目篇】打造一个动态新闻网站
【4月更文挑战第30天】构建动态新闻网站，运用HTML和CSS提升编程技能和网页设计理解。项目包括首页、新闻列表页和详情页，设计简洁易用，包含顶部导航、轮播图和新闻列表。页面布局注重吸引力和易用性，色彩搭配选用冷色调为主，辅以亮色点缀。字体选择清晰易读，布局保持整洁。交互效果如轮播图、导航栏高亮和响应式设计增强用户体验。本文提供基础新闻网站构建指南，为进一步功能扩展和优化打下基础。
土木林森
1037 5

热门文章

最新文章

  • 1
    已解决Win11报错 OSError: [WinError 1455] 页面文件太小，无法完成操作。
  • 2
    Java常见面试题：泛型中“T”与“？”的区别
  • 3
    视频直播常见问题与解决办法汇总【系列一】
  • 4
    PostgreSQL 最佳实践 - 逻辑增量复制(MySQL <-> PgSQL <-> PgSQL)
  • 5
    什么是视频推流和视频拉流？视频推流和视频拉流都涉及哪些技术？一文带您了解！
  • 6
    程序员如何让自己 Be Cloud Native - 配置篇
  • 7
    一文读懂 SOA 架构和微服务架构的区别
  • 8
    阿里云服务器被挖矿怎么解决
  • 9
    linux默认语言修改成中文，中文修改成英文
  • 10
    OkHttp 3.7源码分析（五）——连接池
  • 1
    Python 安装
    51
  • 2
    你是否正在经历知识管理的 “隐形内耗”​
    32
  • 3
    宕机不是突然的，是你没提前看见 —— 聊聊 IT 事件预测，机器学习如何把事故掐死在摇篮里
    35
  • 4
    别再半夜敲命令了：用 LLM + 自动化脚本，把 Runbook 变成“会思考的运维同事”
    37
  • 5
    数据湖不是湖，是江湖：Delta Lake / Iceberg / Hudi 到底该选谁？
    30
  • 6
    AI数字员工哪个好？2025十大品牌云原生适配实测：玄晶引擎/百度/阿里全链路方案
    58
  • 7
    云原生视角：AI数字人vs数字员工，玄晶引擎等工具的架构选型与落地实践
    42
  • 8
    《深析游戏社交量化逻辑：解锁留存付费的核心传导路径》
    35
  • 9
    《构建游戏实时流失预警模型的核心逻辑》
    39
  • 10
    VMware Workstation 17.5 安装教程（小白也能看懂）
    34

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    「直播预告」Streaming Lakehouse Meetup EP.2｜Paimon × StarRocks 共话实时湖仓