Transformers 4.37 中文文档（十三）（3）-阿里云开发者社区

Transformers 4.37 中文文档（十三）（2）https://developer.aliyun.com/article/1564947

AutoTokenizer

`class transformers.AutoTokenizer`

( )

这是一个通用的分词器类，当使用 AutoTokenizer.from_pretrained()类方法创建时，将实例化为库中的分词器类之一。

这个类不能直接使用__init__()实例化（会报错）。

`from_pretrained`

<来源>

( pretrained_model_name_or_path *inputs **kwargs )

参数

pretrained_model_name_or_path（str或os.PathLike）- 可以是：

一个字符串，预定义的分词器的模型 ID，托管在 huggingface.co 上的模型存储库内。有效的模型 ID 可以位于根级别，如bert-base-uncased，或者命名空间在用户或组织名称下，如dbmdz/bert-base-german-cased。
包含分词器所需的词汇文件的目录路径，例如使用 save_pretrained()方法保存的，例如，./my_model_directory/。
如果且仅当分词器只需要单个词汇文件（如 Bert 或 XLNet）时，可以是单个保存的词汇文件的路径或 url，例如：./my_model_directory/vocab.txt。（不适用于所有派生类）

inputs（额外的位置参数，可选）- 将传递给分词器__init__()方法。
config（PretrainedConfig，可选）- 用于确定要实例化的分词器类的配置对象。
cache_dir（str或os.PathLike，可选）- 如果不应使用标准缓存，则应将下载的预训练模型配置缓存在其中的目录路径。
force_download（bool，可选，默认为False）- 是否强制（重新）下载模型权重和配置文件，并覆盖缓存版本（如果存在）。
resume_download（bool，可选，默认为False）- 是否删除接收不完整的文件。如果存在这样的文件，将尝试恢复下载。
proxies（Dict[str, str]，可选）- 要按协议或端点使用的代理服务器字典，例如，{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
revision（str，可选，默认为"main"）- 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID，因为我们在 huggingface.co 上使用基于 git 的系统存储模型和其他工件，所以revision可以是 git 允许的任何标识符。
subfolder（str，可选）- 如果相关文件位于 huggingface.co 上模型存储库的子文件夹中（例如对于 facebook/rag-token-base），请在此处指定。
use_fast（bool，可选，默认为True）- 如果给定模型支持，使用快速基于 Rust 的分词器。如果给定模型不支持快速分词器，则将返回普通的基于 Python 的分词器。
tokenizer_type（str，可选）- 要加载的分词器类型。
trust_remote_code（bool，可选，默认为False）- 是否允许在 Hub 上定义自定义模型的建模文件。此选项应仅对您信任的存储库设置为True，并且您已阅读代码，因为它将在本地计算机上执行 Hub 上存在的代码。
kwargs（额外的关键字参数，可选）- 将传递给分词器__init__()方法。可用于设置特殊标记，如bos_token、eos_token、unk_token、sep_token、pad_token、cls_token、mask_token、additional_special_tokens。有关更多详细信息，请参阅__init__()中的参数。

从预训练模型词汇实例化库中的一个分词器类。

要实例化的分词器类是根据配置对象的model_type属性（如果可能作为参数传递或从pretrained_model_name_or_path加载）选择的，或者当缺少时，通过在pretrained_model_name_or_path上使用模式匹配来回退选择：

albert — AlbertTokenizer 或 AlbertTokenizerFast (ALBERT 模型)
align — BertTokenizer 或 BertTokenizerFast (ALIGN 模型)
bark — BertTokenizer 或 BertTokenizerFast (Bark 模型)
bart — BartTokenizer 或 BartTokenizerFast (BART 模型)
barthez — BarthezTokenizer 或 BarthezTokenizerFast (BARThez 模型)
bartpho — BartphoTokenizer (BARTpho 模型)
bert — BertTokenizer 或 BertTokenizerFast (BERT 模型)
bert-generation — BertGenerationTokenizer (Bert Generation 模型)
bert-japanese — BertJapaneseTokenizer (BertJapanese 模型)
bertweet — BertweetTokenizer (BERTweet 模型)
big_bird — BigBirdTokenizer 或 BigBirdTokenizerFast (BigBird 模型)
bigbird_pegasus — PegasusTokenizer 或 PegasusTokenizerFast (BigBird-Pegasus 模型)
biogpt — BioGptTokenizer (BioGpt 模型)
blenderbot — BlenderbotTokenizer 或 BlenderbotTokenizerFast (Blenderbot 模型)
blenderbot-small — BlenderbotSmallTokenizer (BlenderbotSmall 模型)
blip — BertTokenizer 或 BertTokenizerFast (BLIP 模型)
blip-2 — GPT2Tokenizer 或 GPT2TokenizerFast (BLIP-2 模型)
bloom — BloomTokenizerFast (BLOOM 模型)
bridgetower — RobertaTokenizer 或 RobertaTokenizerFast (BridgeTower 模型)
bros — BertTokenizer 或 BertTokenizerFast (BROS 模型)
byt5 — ByT5Tokenizer (ByT5 模型)
camembert — CamembertTokenizer 或 CamembertTokenizerFast (CamemBERT 模型)
canine — CanineTokenizer (CANINE 模型)
chinese_clip — BertTokenizer 或 BertTokenizerFast (Chinese-CLIP 模型)
clap — RobertaTokenizer 或 RobertaTokenizerFast (CLAP 模型)
clip — CLIPTokenizer 或 CLIPTokenizerFast (CLIP 模型)
clipseg — CLIPTokenizer 或 CLIPTokenizerFast (CLIPSeg 模型)
clvp — ClvpTokenizer (CLVP 模型)
code_llama — CodeLlamaTokenizer 或 CodeLlamaTokenizerFast (CodeLlama 模型)
codegen — CodeGenTokenizer 或 CodeGenTokenizerFast (CodeGen 模型)
convbert — ConvBertTokenizer 或 ConvBertTokenizerFast (ConvBERT 模型)
cpm — CpmTokenizer 或 CpmTokenizerFast (CPM 模型)
cpmant — CpmAntTokenizer (CPM-Ant 模型)
ctrl — CTRLTokenizer (CTRL 模型)
data2vec-audio — Wav2Vec2CTCTokenizer (Data2VecAudio 模型)
data2vec-text — RobertaTokenizer 或 RobertaTokenizerFast (Data2VecText 模型)
deberta — DebertaTokenizer 或 DebertaTokenizerFast (DeBERTa 模型)
deberta-v2 — DebertaV2Tokenizer 或 DebertaV2TokenizerFast (DeBERTa-v2 模型)
distilbert — DistilBertTokenizer 或 DistilBertTokenizerFast (DistilBERT 模型)
dpr — DPRQuestionEncoderTokenizer 或 DPRQuestionEncoderTokenizerFast (DPR 模型)
electra — ElectraTokenizer 或 ElectraTokenizerFast (ELECTRA 模型)
ernie — BertTokenizer 或 BertTokenizerFast (ERNIE 模型)
ernie_m — ErnieMTokenizer (ErnieM 模型)
esm — EsmTokenizer (ESM 模型)
falcon — PreTrainedTokenizerFast (Falcon 模型)
fastspeech2_conformer — (FastSpeech2Conformer 模型)
flaubert — FlaubertTokenizer (FlauBERT 模型)
fnet — FNetTokenizer 或 FNetTokenizerFast (FNet 模型)
fsmt — FSMTTokenizer (FairSeq 机器翻译模型)
funnel — FunnelTokenizer 或 FunnelTokenizerFast (Funnel Transformer 模型)
git — BertTokenizer 或 BertTokenizerFast (GIT 模型)
gpt-sw3 — GPTSw3Tokenizer (GPT-Sw3 模型)
gpt2 — GPT2Tokenizer 或 GPT2TokenizerFast (OpenAI GPT-2 模型)
gpt_bigcode — GPT2Tokenizer 或 GPT2TokenizerFast (GPTBigCode 模型)
gpt_neo — GPT2Tokenizer 或 GPT2TokenizerFast (GPT Neo 模型)
gpt_neox — GPTNeoXTokenizerFast (GPT NeoX 模型)
gpt_neox_japanese — GPTNeoXJapaneseTokenizer (GPT NeoX Japanese 模型)
gptj — GPT2Tokenizer 或 GPT2TokenizerFast (GPT-J 模型)
gptsan-japanese — GPTSanJapaneseTokenizer (GPTSAN-japanese 模型)
groupvit — CLIPTokenizer 或 CLIPTokenizerFast (GroupViT 模型)
herbert — HerbertTokenizer 或 HerbertTokenizerFast (HerBERT 模型)
hubert — Wav2Vec2CTCTokenizer (Hubert 模型)
ibert — RobertaTokenizer 或 RobertaTokenizerFast (I-BERT 模型)
idefics — LlamaTokenizerFast (IDEFICS 模型)
instructblip — GPT2Tokenizer 或 GPT2TokenizerFast (InstructBLIP 模型)
jukebox — JukeboxTokenizer (Jukebox 模型)
kosmos-2 — XLMRobertaTokenizer 或 XLMRobertaTokenizerFast (KOSMOS-2 模型)
layoutlm — LayoutLMTokenizer 或 LayoutLMTokenizerFast (LayoutLM 模型)
layoutlmv2 — LayoutLMv2Tokenizer 或 LayoutLMv2TokenizerFast (LayoutLMv2 模型)
layoutlmv3 — LayoutLMv3Tokenizer 或 LayoutLMv3TokenizerFast (LayoutLMv3 模型)
layoutxlm — LayoutXLMTokenizer 或 LayoutXLMTokenizerFast (LayoutXLM 模型)
led — LEDTokenizer 或 LEDTokenizerFast (LED 模型)
lilt — LayoutLMv3Tokenizer 或 LayoutLMv3TokenizerFast (LiLT 模型)
llama — LlamaTokenizer 或 LlamaTokenizerFast (LLaMA 模型)
llava — LlamaTokenizer 或 LlamaTokenizerFast (LLaVa 模型)
longformer — LongformerTokenizer 或 LongformerTokenizerFast (Longformer 模型)
longt5 — T5Tokenizer 或 T5TokenizerFast (LongT5 模型)
luke — LukeTokenizer (LUKE 模型)
lxmert — LxmertTokenizer 或 LxmertTokenizerFast (LXMERT 模型)
m2m_100 — M2M100Tokenizer (M2M100 模型)
marian — MarianTokenizer (Marian 模型)
mbart — MBartTokenizer 或 MBartTokenizerFast (mBART 模型)
mbart50 — MBart50Tokenizer 或 MBart50TokenizerFast (mBART-50 模型)
mega — RobertaTokenizer 或 RobertaTokenizerFast (MEGA 模型)
megatron-bert — BertTokenizer 或 BertTokenizerFast (Megatron-BERT 模型)
mgp-str — MgpstrTokenizer (MGP-STR 模型)
mistral — LlamaTokenizer 或 LlamaTokenizerFast (Mistral 模型)
mixtral — LlamaTokenizer 或 LlamaTokenizerFast (Mixtral 模型)
mluke — MLukeTokenizer (mLUKE 模型)
mobilebert — MobileBertTokenizer 或 MobileBertTokenizerFast (MobileBERT 模型)
mpnet — MPNetTokenizer 或 MPNetTokenizerFast (MPNet 模型)
mpt — GPTNeoXTokenizerFast (MPT 模型)
mra — RobertaTokenizer 或 RobertaTokenizerFast (MRA 模型)
mt5 — MT5Tokenizer 或 MT5TokenizerFast (MT5 模型)
musicgen — T5Tokenizer 或 T5TokenizerFast (MusicGen 模型)
mvp — MvpTokenizer 或 MvpTokenizerFast (MVP 模型)
nezha — BertTokenizer 或 BertTokenizerFast (Nezha 模型)
nllb — NllbTokenizer 或 NllbTokenizerFast (NLLB 模型)
nllb-moe — NllbTokenizer 或 NllbTokenizerFast (NLLB-MOE 模型)
nystromformer — AlbertTokenizer 或 AlbertTokenizerFast（Nyströmformer 模型）
oneformer — CLIPTokenizer 或 CLIPTokenizerFast（OneFormer 模型）
openai-gpt — OpenAIGPTTokenizer 或 OpenAIGPTTokenizerFast（OpenAI GPT 模型）
opt — GPT2Tokenizer 或 GPT2TokenizerFast（OPT 模型）
owlv2 — CLIPTokenizer 或 CLIPTokenizerFast（OWLv2 模型）
owlvit — CLIPTokenizer 或 CLIPTokenizerFast（OWL-ViT 模型）
pegasus — PegasusTokenizer 或 PegasusTokenizerFast（Pegasus 模型）
pegasus_x — PegasusTokenizer 或 PegasusTokenizerFast（PEGASUS-X 模型）
perceiver — PerceiverTokenizer（Perceiver 模型）
persimmon — LlamaTokenizer 或 LlamaTokenizerFast（Persimmon 模型）
phi — CodeGenTokenizer 或 CodeGenTokenizerFast（Phi 模型）
phobert — PhobertTokenizer（PhoBERT 模型）
pix2struct — T5Tokenizer 或 T5TokenizerFast（Pix2Struct 模型）
plbart — PLBartTokenizer（PLBart 模型）
prophetnet — ProphetNetTokenizer（ProphetNet 模型）
qdqbert — BertTokenizer 或 BertTokenizerFast（QDQBert 模型）
qwen2 — Qwen2Tokenizer 或 Qwen2TokenizerFast（Qwen2 模型）
rag — RagTokenizer（RAG 模型）
realm — RealmTokenizer 或 RealmTokenizerFast（REALM 模型）
reformer — ReformerTokenizer 或 ReformerTokenizerFast (Reformer 模型)
rembert — RemBertTokenizer 或 RemBertTokenizerFast (RemBERT 模型)
retribert — RetriBertTokenizer 或 RetriBertTokenizerFast (RetriBERT 模型)
roberta — RobertaTokenizer 或 RobertaTokenizerFast (RoBERTa 模型)
roberta-prelayernorm — RobertaTokenizer 或 RobertaTokenizerFast (RoBERTa-PreLayerNorm 模型)
roc_bert — RoCBertTokenizer (RoCBert 模型)
roformer — RoFormerTokenizer 或 RoFormerTokenizerFast (RoFormer 模型)
rwkv — GPTNeoXTokenizerFast (RWKV 模型)
seamless_m4t — SeamlessM4TTokenizer 或 SeamlessM4TTokenizerFast (SeamlessM4T 模型)
seamless_m4t_v2 — SeamlessM4TTokenizer 或 SeamlessM4TTokenizerFast (SeamlessM4Tv2 模型)
siglip — SiglipTokenizer (SigLIP 模型)
speech_to_text — Speech2TextTokenizer (Speech2Text 模型)
speech_to_text_2 — Speech2Text2Tokenizer (Speech2Text2 模型)
speecht5 — SpeechT5Tokenizer (SpeechT5 模型)
splinter — SplinterTokenizer 或 SplinterTokenizerFast (Splinter 模型)
squeezebert — SqueezeBertTokenizer 或 SqueezeBertTokenizerFast (SqueezeBERT 模型)
switch_transformers — T5Tokenizer 或 T5TokenizerFast (SwitchTransformers 模型)
t5 — T5Tokenizer 或 T5TokenizerFast (T5 模型)
tapas — TapasTokenizer (TAPAS 模型)
tapex — TapexTokenizer (TAPEX 模型)
transfo-xl — TransfoXLTokenizer (Transformer-XL 模型)
tvp — BertTokenizer 或 BertTokenizerFast (TVP 模型)
umt5 — T5Tokenizer 或 T5TokenizerFast (UMT5 模型)
vilt — BertTokenizer 或 BertTokenizerFast (ViLT 模型)
vipllava — LlamaTokenizer 或 LlamaTokenizerFast (VipLlava 模型)
visual_bert — BertTokenizer 或 BertTokenizerFast (VisualBERT 模型)
vits — VitsTokenizer (VITS 模型)
wav2vec2 — Wav2Vec2CTCTokenizer (Wav2Vec2 模型)
wav2vec2-bert — Wav2Vec2CTCTokenizer (Wav2Vec2-BERT 模型)
wav2vec2-conformer — Wav2Vec2CTCTokenizer (Wav2Vec2-Conformer 模型)
wav2vec2_phoneme — Wav2Vec2PhonemeCTCTokenizer (Wav2Vec2Phoneme 模型)
whisper — WhisperTokenizer 或 WhisperTokenizerFast (Whisper 模型)
xclip — CLIPTokenizer 或 CLIPTokenizerFast (X-CLIP 模型)
xglm — XGLMTokenizer 或 XGLMTokenizerFast (XGLM 模型)
xlm — XLMTokenizer (XLM 模型)
xlm-prophetnet — XLMProphetNetTokenizer (XLM-ProphetNet 模型)
xlm-roberta — XLMRobertaTokenizer 或 XLMRobertaTokenizerFast (XLM-RoBERTa 模型)
xlm-roberta-xl — XLMRobertaTokenizer 或 XLMRobertaTokenizerFast (XLM-RoBERTa-XL 模型)
xlnet — XLNetTokenizer 或 XLNetTokenizerFast (XLNet 模型)
xmod — XLMRobertaTokenizer 或 XLMRobertaTokenizerFast (X-MOD 模型)
yoso — AlbertTokenizer 或 AlbertTokenizerFast（YOSO 模型）

示例：

>>> from transformers import AutoTokenizer
>>> # Download vocabulary from huggingface.co and cache.
>>> tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
>>> # Download vocabulary from huggingface.co (user-uploaded) and cache.
>>> tokenizer = AutoTokenizer.from_pretrained("dbmdz/bert-base-german-cased")
>>> # If vocabulary files are in a directory (e.g. tokenizer was saved using *save_pretrained('./test/saved_model/')*)
>>> # tokenizer = AutoTokenizer.from_pretrained("./test/bert_saved_model/")
>>> # Download vocabulary from huggingface.co and define model-specific arguments
>>> tokenizer = AutoTokenizer.from_pretrained("roberta-base", add_prefix_space=True)

`register`

< source >

( config_class slow_tokenizer_class = None fast_tokenizer_class = None exist_ok = False )

参数

config_class (PretrainedConfig) — 与要注册的模型对应的配置。
slow_tokenizer_class (PretrainedTokenizer, optional) — 要注册的慢速分词器。
fast_tokenizer_class (PretrainedTokenizerFast, optional) — 要注册的快速分词器。

在此映射中注册一个新的分词器。

AutoFeatureExtractor

`class transformers.AutoFeatureExtractor`

< source >

( )

这是一个通用的特征提取器类，在使用 AutoFeatureExtractor.from_pretrained() 类方法创建时，将实例化为库的特征提取器类之一。

这个类不能直接使用 __init__() 实例化（会抛出错误）。

`from_pretrained`

< source >

( pretrained_model_name_or_path **kwargs )

参数

pretrained_model_name_or_path (str 或 os.PathLike) — 这可以是：

一个字符串，预训练特征提取器的 模型 ID，托管在 huggingface.co 上的模型存储库中。有效的模型 ID 可以位于根级别，如 bert-base-uncased，或者在用户或组织名称下命名空间化，如 dbmdz/bert-base-german-cased。
一个包含使用 save_pretrained() 方法保存的特征提取器文件的目录路径，例如 ./my_model_directory/。
一个保存的特征提取器 JSON 文件的路径或 URL，例如 ./my_model_directory/preprocessor_config.json。

cache_dir (str 或 os.PathLike, optional) — 下载的预训练模型特征提取器应该缓存在其中的目录路径，如果不想使用标准缓存。
force_download (bool, optional, defaults to False) — 是否强制（重新）下载特征提取器文件并覆盖缓存版本（如果存在）。
resume_download (bool, optional, defaults to False) — 是否删除接收不完整的文件。如果存在这样的文件，则尝试恢复下载。
proxies (Dict[str, str], optional) — 一个按协议或端点使用的代理服务器字典，例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。这些代理在每个请求中使用。
token (str 或 bool, optional) — 用作远程文件的 HTTP 令牌授权的令牌。如果为 True，将使用运行 huggingface-cli login 时生成的令牌（存储在 ~/.huggingface 中）。
revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID，因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件，所以 revision 可以是 git 允许的任何标识符。
return_unused_kwargs (bool, optional, defaults to False) — 如果为 False，则此函数仅返回最终的特征提取器对象。如果为 True，则此函数返回一个 Tuple(feature_extractor, unused_kwargs)，其中 unused_kwargs 是一个字典，包含那些未被用于更新 feature_extractor 的键/值对：即 kwargs 的一部分，未被用于更新 feature_extractor 且被忽略的部分。
trust_remote_code (bool, optional, 默认为 False) — 是否允许在 Hub 上定义自定义模型并在其自己的建模文件中执行。只有对您信任的存储库以及您已阅读代码的情况下，才应将此选项设置为 True，因为它将在本地机器上执行 Hub 上存在的代码。
kwargs (Dict[str, Any], optional) — 任何键为特征提取器属性的 kwargs 中的值将用于覆盖加载的值。关于键/值对中键不是特征提取器属性的行为由 return_unused_kwargs 关键参数控制。

从预训练模型词汇表中实例化库中的特征提取器类之一。

要实例化的特征提取器类是根据配置对象的 model_type 属性（如果可能，作为参数传递或从 pretrained_model_name_or_path 加载）选择的，或者当缺少时，通过在 pretrained_model_name_or_path 上使用模式匹配来回退：

audio-spectrogram-transformer — ASTFeatureExtractor (Audio Spectrogram Transformer 模型)
beit — BeitFeatureExtractor (BEiT 模型)
chinese_clip — ChineseCLIPFeatureExtractor (Chinese-CLIP 模型)
clap — ClapFeatureExtractor (CLAP 模型)
clip — CLIPFeatureExtractor (CLIP 模型)
clipseg — ViTFeatureExtractor (CLIPSeg 模型)
clvp — ClvpFeatureExtractor (CLVP 模型)
conditional_detr — ConditionalDetrFeatureExtractor (Conditional DETR 模型)
convnext — ConvNextFeatureExtractor (ConvNeXT 模型)
cvt — ConvNextFeatureExtractor (CvT 模型)
data2vec-audio — Wav2Vec2FeatureExtractor (Data2VecAudio 模型)
data2vec-vision — BeitFeatureExtractor (Data2VecVision 模型)
deformable_detr — DeformableDetrFeatureExtractor (Deformable DETR 模型)
deit — DeiTFeatureExtractor (DeiT 模型)
detr — DetrFeatureExtractor (DETR 模型)
dinat — ViTFeatureExtractor (DiNAT 模型)
donut-swin — DonutFeatureExtractor (DonutSwin 模型)
dpt — DPTFeatureExtractor (DPT 模型)
encodec — EncodecFeatureExtractor (EnCodec 模型)
flava — FlavaFeatureExtractor (FLAVA 模型)
glpn — GLPNFeatureExtractor (GLPN 模型)
groupvit — CLIPFeatureExtractor (GroupViT 模型)
hubert — Wav2Vec2FeatureExtractor (Hubert 模型)
imagegpt — ImageGPTFeatureExtractor (ImageGPT 模型)
layoutlmv2 — LayoutLMv2FeatureExtractor (LayoutLMv2 模型)
layoutlmv3 — LayoutLMv3FeatureExtractor (LayoutLMv3 模型)
levit — LevitFeatureExtractor (LeViT 模型)
maskformer — MaskFormerFeatureExtractor (MaskFormer 模型)
mctct — MCTCTFeatureExtractor (M-CTC-T 模型)
mobilenet_v1 — MobileNetV1FeatureExtractor (MobileNetV1 模型)
mobilenet_v2 — MobileNetV2FeatureExtractor (MobileNetV2 模型)
mobilevit — MobileViTFeatureExtractor (MobileViT 模型)
nat — ViTFeatureExtractor (NAT 模型)
owlvit — OwlViTFeatureExtractor (OWL-ViT 模型)
perceiver — PerceiverFeatureExtractor (Perceiver 模型)
poolformer — PoolFormerFeatureExtractor (PoolFormer 模型)
pop2piano — Pop2PianoFeatureExtractor (Pop2Piano 模型)
regnet — ConvNextFeatureExtractor (RegNet 模型)
resnet — ConvNextFeatureExtractor (ResNet 模型)
seamless_m4t — SeamlessM4TFeatureExtractor (SeamlessM4T 模型)
seamless_m4t_v2 — SeamlessM4TFeatureExtractor (SeamlessM4Tv2 模型)
segformer — SegformerFeatureExtractor (SegFormer 模型)
sew — Wav2Vec2FeatureExtractor (SEW 模型)
sew-d — Wav2Vec2FeatureExtractor (SEW-D 模型)
speech_to_text — Speech2TextFeatureExtractor (Speech2Text 模型)
speecht5 — SpeechT5FeatureExtractor (SpeechT5 模型)
swiftformer — ViTFeatureExtractor (SwiftFormer 模型)
swin — ViTFeatureExtractor (Swin Transformer 模型)
swinv2 — ViTFeatureExtractor (Swin Transformer V2 模型)
table-transformer — DetrFeatureExtractor (Table Transformer 模型)
timesformer — VideoMAEFeatureExtractor (TimeSformer 模型)
tvlt — TvltFeatureExtractor (TVLT 模型)
unispeech — Wav2Vec2FeatureExtractor (UniSpeech 模型)
unispeech-sat — Wav2Vec2FeatureExtractor (UniSpeechSat 模型)
univnet — UnivNetFeatureExtractor (UnivNet 模型)
van — ConvNextFeatureExtractor (VAN 模型)
videomae — VideoMAEFeatureExtractor (VideoMAE 模型)
vilt — ViltFeatureExtractor (ViLT 模型)
vit — ViTFeatureExtractor (ViT 模型)
vit_mae — ViTFeatureExtractor (ViTMAE 模型)
vit_msn — ViTFeatureExtractor (ViTMSN 模型)
wav2vec2 — Wav2Vec2FeatureExtractor (Wav2Vec2 模型)
wav2vec2-bert — Wav2Vec2FeatureExtractor (Wav2Vec2-BERT 模型)
wav2vec2-conformer — Wav2Vec2FeatureExtractor (Wav2Vec2-Conformer 模型)
wavlm — Wav2Vec2FeatureExtractor (WavLM 模型)
whisper — WhisperFeatureExtractor (Whisper 模型)
xclip — CLIPFeatureExtractor (X-CLIP 模型)
yolos — YolosFeatureExtractor (YOLOS 模型)

当您想使用私有模型时，需要传递 token=True。

示例：

>>> from transformers import AutoFeatureExtractor
>>> # Download feature extractor from huggingface.co and cache.
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base-960h")
>>> # If feature extractor files are in a directory (e.g. feature extractor was saved using *save_pretrained('./test/saved_model/')*)
>>> # feature_extractor = AutoFeatureExtractor.from_pretrained("./test/saved_model/")

`register`

< source >

( config_class feature_extractor_class exist_ok = False )

参数

config_class (PretrainedConfig) — 要注册的模型对应的配置。
feature_extractor_class (FeatureExtractorMixin) — 要注册的特征提取器。

为此类注册一个新的特征提取器。

AutoImageProcessor

`class transformers.AutoImageProcessor`

< source >

( )

这是一个通用的图像处理器类，在使用 AutoImageProcessor.from_pretrained() 类方法创建时，将被实例化为库中的图像处理器类之一。

这个类不能直接使用 __init__() 实例化（会抛出错误）。

`from_pretrained`

< source >

( pretrained_model_name_or_path **kwargs )

参数

pretrained_model_name_or_path (str 或 os.PathLike) — 这可以是：

一个预训练图像处理器的 模型 id，托管在 huggingface.co 上的模型存储库中。有效的模型 id 可以位于根级别，如 bert-base-uncased，或者在用户或组织名称下命名空间化，如 dbmdz/bert-base-german-cased。
一个包含使用 save_pretrained() 方法保存的图像处理器文件的目录路径，例如，./my_model_directory/。
一个保存的图像处理器 JSON 文件的路径或 URL，例如，./my_model_directory/preprocessor_config.json。

cache_dir (str 或 os.PathLike, 可选) — 预下载的预训练模型图像处理器应该缓存在其中的目录路径，如果不应使用标准缓存。
force_download (bool, 可选, 默认为 False) — 是否强制（重新）下载图像处理器文件并覆盖缓存版本（如果存在）。
resume_download (bool, 可选, 默认为 False) — 是否删除接收不完整的文件。如果存在这样的文件，则尝试恢复下载。
proxies (Dict[str, str], 可选) — 一个按协议或端点使用的代理服务器字典，例如，{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。这些代理在每个请求上使用。
token (str 或 bool, 可选) — 用作远程文件的 HTTP bearer 授权的令牌。如果为 True，将使用运行 huggingface-cli login 时生成的令牌（存储在 ~/.huggingface 中）。
revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 id，因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件，所以 revision 可以是 git 允许的任何标识符。
return_unused_kwargs (bool, 可选, 默认为 False) — 如果为 False，则此函数仅返回最终的图像处理器对象。如果为 True，则此函数返回一个 Tuple(image_processor, unused_kwargs)，其中 unused_kwargs 是一个字典，包含那些键/值对，其键不是图像处理器属性：即 kwargs 中未被用于更新 image_processor 且被忽略的部分。
trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义自定义模型的建模文件。此选项应仅对您信任的存储库设置为 True，并且您已阅读了代码，因为它将在本地机器上执行 Hub 上存在的代码。
kwargs (Dict[str, Any], 可选) — 任何键为图像处理器属性的 kwargs 中的值将用于覆盖加载的值。关于键/值对中键不是图像处理器属性的行为由 return_unused_kwargs 关键字参数控制。

从预训练模型词汇表中实例化库中的一个图像处理器类。

要实例化的图像处理器类是根据配置对象的 model_type 属性选择的（如果可能，作为参数传递或从 pretrained_model_name_or_path 加载），或者当缺少时，通过在 pretrained_model_name_or_path 上使用模式匹配来回退：

align — EfficientNetImageProcessor (ALIGN 模型)
beit — BeitImageProcessor (BEiT 模型)
bit — BitImageProcessor (BiT 模型)
blip — BlipImageProcessor (BLIP 模型)
blip-2 — BlipImageProcessor (BLIP-2 模型)
bridgetower — BridgeTowerImageProcessor (BridgeTower 模型)
chinese_clip — ChineseCLIPImageProcessor (Chinese-CLIP 模型)
clip — CLIPImageProcessor (CLIP 模型)
clipseg — ViTImageProcessor (CLIPSeg 模型)
conditional_detr — ConditionalDetrImageProcessor (Conditional DETR 模型)
convnext — ConvNextImageProcessor (ConvNeXT 模型)
convnextv2 — ConvNextImageProcessor (ConvNeXTV2 模型)
cvt — ConvNextImageProcessor (CvT 模型)
data2vec-vision — BeitImageProcessor (Data2VecVision 模型)
deformable_detr — DeformableDetrImageProcessor (Deformable DETR 模型)
deit — DeiTImageProcessor (DeiT 模型)
deta — DetaImageProcessor (DETA 模型)
detr — DetrImageProcessor (DETR 模型)
dinat — ViTImageProcessor (DiNAT 模型)
dinov2 — BitImageProcessor (DINOv2 模型)
donut-swin — DonutImageProcessor (DonutSwin 模型)
dpt — DPTImageProcessor (DPT 模型)
efficientformer — EfficientFormerImageProcessor (EfficientFormer 模型)
efficientnet — EfficientNetImageProcessor (EfficientNet 模型)
flava — FlavaImageProcessor (FLAVA 模型)
focalnet — BitImageProcessor (FocalNet 模型)
fuyu — FuyuImageProcessor (Fuyu 模型)
git — CLIPImageProcessor (GIT 模型)
glpn — GLPNImageProcessor (GLPN 模型)
groupvit — CLIPImageProcessor (GroupViT 模型)
idefics — IdeficsImageProcessor (IDEFICS 模型)
imagegpt — ImageGPTImageProcessor (ImageGPT 模型)
instructblip — BlipImageProcessor (InstructBLIP 模型)
kosmos-2 — CLIPImageProcessor (KOSMOS-2 模型)
layoutlmv2 — LayoutLMv2ImageProcessor (LayoutLMv2 模型)
layoutlmv3 — LayoutLMv3ImageProcessor (LayoutLMv3 模型)
levit — LevitImageProcessor (LeViT 模型)
llava — CLIPImageProcessor (LLaVa 模型)
mask2former — Mask2FormerImageProcessor (Mask2Former 模型)
maskformer — MaskFormerImageProcessor (MaskFormer 模型)
mgp-str — ViTImageProcessor (MGP-STR 模型)
mobilenet_v1 — MobileNetV1ImageProcessor (MobileNetV1 模型)
mobilenet_v2 — MobileNetV2ImageProcessor (MobileNetV2 模型)
mobilevit — MobileViTImageProcessor (MobileViT 模型)
mobilevitv2 — MobileViTImageProcessor (MobileViTV2 模型)
nat — ViTImageProcessor (NAT 模型)
nougat — NougatImageProcessor (Nougat 模型)
oneformer — OneFormerImageProcessor (OneFormer 模型)
owlv2 — Owlv2ImageProcessor (OWLv2 模型)
owlvit — OwlViTImageProcessor (OWL-ViT 模型)
perceiver — PerceiverImageProcessor (Perceiver 模型)
pix2struct — Pix2StructImageProcessor (Pix2Struct 模型)
poolformer — PoolFormerImageProcessor (PoolFormer 模型)
pvt — PvtImageProcessor (PVT 模型)
regnet — ConvNextImageProcessor (RegNet 模型)
resnet — ConvNextImageProcessor (ResNet 模型)
sam — SamImageProcessor (SAM 模型)
segformer — SegformerImageProcessor (SegFormer 模型)
siglip — SiglipImageProcessor (SigLIP 模型)
swiftformer — ViTImageProcessor (SwiftFormer 模型)
swin — ViTImageProcessor (Swin Transformer model)
swin2sr — Swin2SRImageProcessor (Swin2SR model)
swinv2 — ViTImageProcessor (Swin Transformer V2 model)
table-transformer — DetrImageProcessor (Table Transformer model)
timesformer — VideoMAEImageProcessor (TimeSformer model)
tvlt — TvltImageProcessor (TVLT model)
tvp — TvpImageProcessor (TVP model)
upernet — SegformerImageProcessor (UPerNet model)
van — ConvNextImageProcessor (VAN model)
videomae — VideoMAEImageProcessor (VideoMAE model)
vilt — ViltImageProcessor (ViLT model)
vipllava — CLIPImageProcessor (VipLlava model)
vit — ViTImageProcessor (ViT model)
vit_hybrid — ViTHybridImageProcessor (ViT Hybrid model)
vit_mae — ViTImageProcessor (ViTMAE model)
vit_msn — ViTImageProcessor (ViTMSN model)
vitmatte — VitMatteImageProcessor (ViTMatte model)
xclip — CLIPImageProcessor (X-CLIP model)
yolos — YolosImageProcessor (YOLOS model)

当您想使用私有模型时，需要传递token=True。

示例：

>>> from transformers import AutoImageProcessor
>>> # Download image processor from huggingface.co and cache.
>>> image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224-in21k")
>>> # If image processor files are in a directory (e.g. image processor was saved using *save_pretrained('./test/saved_model/')*)
>>> # image_processor = AutoImageProcessor.from_pretrained("./test/saved_model/")

`register`

< source >

( config_class image_processor_class exist_ok = False )

参数

config_class (PretrainedConfig) — 与要注册的模型对应的配置。
image_processor_class (ImageProcessingMixin) — 要注册的图像处理器。

为这个类注册一个新的图像处理器。

Transformers 4.37 中文文档（十三）（4）https://developer.aliyun.com/article/1564949

Transformers 4.37 中文文档（十三）（3）

AutoTokenizer

`class transformers.AutoTokenizer`

`from_pretrained`

`register`

AutoFeatureExtractor

`class transformers.AutoFeatureExtractor`

`from_pretrained`

`register`

AutoImageProcessor

`class transformers.AutoImageProcessor`

`from_pretrained`

`register`

热门文章

最新文章

相关课程

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

Transformers 4.37 中文文档（十三）（3）

AutoTokenizer

class transformers.AutoTokenizer

from_pretrained

register

AutoFeatureExtractor

class transformers.AutoFeatureExtractor

from_pretrained

register

AutoImageProcessor

class transformers.AutoImageProcessor

from_pretrained

register

热门文章

最新文章

相关课程

相关电子书

`class transformers.AutoTokenizer`

`from_pretrained`

`register`

`class transformers.AutoFeatureExtractor`

`from_pretrained`

`register`

`class transformers.AutoImageProcessor`

`from_pretrained`

`register`