Transformers 4.37 中文文档（十三）（3）

Transformers 4.37 中文文档（十三）（2）https://developer.aliyun.com/article/1564947

AutoTokenizer

class transformers.AutoTokenizer

<来源>

( )

这是一个通用的分词器类，当使用 AutoTokenizer.from_pretrained()类方法创建时，将实例化为库中的分词器类之一。

这个类不能直接使用__init__()实例化（会报错）。

from_pretrained

<来源>

( pretrained_model_name_or_path *inputs **kwargs )

参数

• pretrained_model_name_or_path（str或os.PathLike）- 可以是：

• 一个字符串，预定义的分词器的模型 ID，托管在 huggingface.co 上的模型存储库内。有效的模型 ID 可以位于根级别，如bert-base-uncased，或者命名空间在用户或组织名称下，如dbmdz/bert-base-german-cased。
  
• 包含分词器所需的词汇文件的目录路径，例如使用 save_pretrained()方法保存的，例如，./my_model_directory/。
  
• 如果且仅当分词器只需要单个词汇文件（如 Bert 或 XLNet）时，可以是单个保存的词汇文件的路径或 url，例如：./my_model_directory/vocab.txt。（不适用于所有派生类）
  

• inputs（额外的位置参数，可选）- 将传递给分词器__init__()方法。
  
• config（PretrainedConfig，可选）- 用于确定要实例化的分词器类的配置对象。
  
• cache_dir（str或os.PathLike，可选）- 如果不应使用标准缓存，则应将下载的预训练模型配置缓存在其中的目录路径。
  
• force_download（bool，可选，默认为False）- 是否强制（重新）下载模型权重和配置文件，并覆盖缓存版本（如果存在）。
  
• resume_download（bool，可选，默认为False）- 是否删除接收不完整的文件。如果存在这样的文件，将尝试恢复下载。
  
• proxies（Dict[str, str]，可选）- 要按协议或端点使用的代理服务器字典，例如，{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
  
• revision（str，可选，默认为"main"）- 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID，因为我们在 huggingface.co 上使用基于 git 的系统存储模型和其他工件，所以revision可以是 git 允许的任何标识符。
  
• subfolder（str，可选）- 如果相关文件位于 huggingface.co 上模型存储库的子文件夹中（例如对于 facebook/rag-token-base），请在此处指定。
  
• use_fast（bool，可选，默认为True）- 如果给定模型支持，使用快速基于 Rust 的分词器。如果给定模型不支持快速分词器，则将返回普通的基于 Python 的分词器。
  
• tokenizer_type（str，可选）- 要加载的分词器类型。
  
• trust_remote_code（bool，可选，默认为False）- 是否允许在 Hub 上定义自定义模型的建模文件。此选项应仅对您信任的存储库设置为True，并且您已阅读代码，因为它将在本地计算机上执行 Hub 上存在的代码。
  
• kwargs（额外的关键字参数，可选）- 将传递给分词器__init__()方法。可用于设置特殊标记，如bos_token、eos_token、unk_token、sep_token、pad_token、cls_token、mask_token、additional_special_tokens。有关更多详细信息，请参阅__init__()中的参数。
  

从预训练模型词汇实例化库中的一个分词器类。

要实例化的分词器类是根据配置对象的model_type属性（如果可能作为参数传递或从pretrained_model_name_or_path加载）选择的，或者当缺少时，通过在pretrained_model_name_or_path上使用模式匹配来回退选择：

• albert — AlbertTokenizer 或 AlbertTokenizerFast (ALBERT 模型)
  
• align — BertTokenizer 或 BertTokenizerFast (ALIGN 模型)
  
• bark — BertTokenizer 或 BertTokenizerFast (Bark 模型)
  
• bart — BartTokenizer 或 BartTokenizerFast (BART 模型)
  
• barthez — BarthezTokenizer 或 BarthezTokenizerFast (BARThez 模型)
  
• bartpho — BartphoTokenizer (BARTpho 模型)
  
• bert — BertTokenizer 或 BertTokenizerFast (BERT 模型)
  
• bert-generation — BertGenerationTokenizer (Bert Generation 模型)
  
• bert-japanese — BertJapaneseTokenizer (BertJapanese 模型)
  
• bertweet — BertweetTokenizer (BERTweet 模型)
  
• big_bird — BigBirdTokenizer 或 BigBirdTokenizerFast (BigBird 模型)
  
• bigbird_pegasus — PegasusTokenizer 或 PegasusTokenizerFast (BigBird-Pegasus 模型)
  
• biogpt — BioGptTokenizer (BioGpt 模型)
  
• blenderbot — BlenderbotTokenizer 或 BlenderbotTokenizerFast (Blenderbot 模型)
  
• blenderbot-small — BlenderbotSmallTokenizer (BlenderbotSmall 模型)
  
• blip — BertTokenizer 或 BertTokenizerFast (BLIP 模型)
  
• blip-2 — GPT2Tokenizer 或 GPT2TokenizerFast (BLIP-2 模型)
  
• bloom — BloomTokenizerFast (BLOOM 模型)
  
• bridgetower — RobertaTokenizer 或 RobertaTokenizerFast (BridgeTower 模型)
  
• bros — BertTokenizer 或 BertTokenizerFast (BROS 模型)
  
• byt5 — ByT5Tokenizer (ByT5 模型)
  
• camembert — CamembertTokenizer 或 CamembertTokenizerFast (CamemBERT 模型)
  
• canine — CanineTokenizer (CANINE 模型)
  
• chinese_clip — BertTokenizer 或 BertTokenizerFast (Chinese-CLIP 模型)
  
• clap — RobertaTokenizer 或 RobertaTokenizerFast (CLAP 模型)
  
• clip — CLIPTokenizer 或 CLIPTokenizerFast (CLIP 模型)
  
• clipseg — CLIPTokenizer 或 CLIPTokenizerFast (CLIPSeg 模型)
  
• clvp — ClvpTokenizer (CLVP 模型)
  
• code_llama — CodeLlamaTokenizer 或 CodeLlamaTokenizerFast (CodeLlama 模型)
  
• codegen — CodeGenTokenizer 或 CodeGenTokenizerFast (CodeGen 模型)
  
• convbert — ConvBertTokenizer 或 ConvBertTokenizerFast (ConvBERT 模型)
  
• cpm — CpmTokenizer 或 CpmTokenizerFast (CPM 模型)
  
• cpmant — CpmAntTokenizer (CPM-Ant 模型)
  
• ctrl — CTRLTokenizer (CTRL 模型)
  
• data2vec-audio — Wav2Vec2CTCTokenizer (Data2VecAudio 模型)
  
• data2vec-text — RobertaTokenizer 或 RobertaTokenizerFast (Data2VecText 模型)
  
• deberta — DebertaTokenizer 或 DebertaTokenizerFast (DeBERTa 模型)
  
• deberta-v2 — DebertaV2Tokenizer 或 DebertaV2TokenizerFast (DeBERTa-v2 模型)
  
• distilbert — DistilBertTokenizer 或 DistilBertTokenizerFast (DistilBERT 模型)
  
• dpr — DPRQuestionEncoderTokenizer 或 DPRQuestionEncoderTokenizerFast (DPR 模型)
  
• electra — ElectraTokenizer 或 ElectraTokenizerFast (ELECTRA 模型)
  
• ernie — BertTokenizer 或 BertTokenizerFast (ERNIE 模型)
  
• ernie_m — ErnieMTokenizer (ErnieM 模型)
  
• esm — EsmTokenizer (ESM 模型)
  
• falcon — PreTrainedTokenizerFast (Falcon 模型)
  
• fastspeech2_conformer — (FastSpeech2Conformer 模型)
  
• flaubert — FlaubertTokenizer (FlauBERT 模型)
  
• fnet — FNetTokenizer 或 FNetTokenizerFast (FNet 模型)
  
• fsmt — FSMTTokenizer (FairSeq 机器翻译模型)
  
• funnel — FunnelTokenizer 或 FunnelTokenizerFast (Funnel Transformer 模型)
  
• git — BertTokenizer 或 BertTokenizerFast (GIT 模型)
  
• gpt-sw3 — GPTSw3Tokenizer (GPT-Sw3 模型)
  
• gpt2 — GPT2Tokenizer 或 GPT2TokenizerFast (OpenAI GPT-2 模型)
  
• gpt_bigcode — GPT2Tokenizer 或 GPT2TokenizerFast (GPTBigCode 模型)
  
• gpt_neo — GPT2Tokenizer 或 GPT2TokenizerFast (GPT Neo 模型)
  
• gpt_neox — GPTNeoXTokenizerFast (GPT NeoX 模型)
  
• gpt_neox_japanese — GPTNeoXJapaneseTokenizer (GPT NeoX Japanese 模型)
  
• gptj — GPT2Tokenizer 或 GPT2TokenizerFast (GPT-J 模型)
  
• gptsan-japanese — GPTSanJapaneseTokenizer (GPTSAN-japanese 模型)
  
• groupvit — CLIPTokenizer 或 CLIPTokenizerFast (GroupViT 模型)
  
• herbert — HerbertTokenizer 或 HerbertTokenizerFast (HerBERT 模型)
  
• hubert — Wav2Vec2CTCTokenizer (Hubert 模型)
  
• ibert — RobertaTokenizer 或 RobertaTokenizerFast (I-BERT 模型)
  
• idefics — LlamaTokenizerFast (IDEFICS 模型)
  
• instructblip — GPT2Tokenizer 或 GPT2TokenizerFast (InstructBLIP 模型)
  
• jukebox — JukeboxTokenizer (Jukebox 模型)
  
• kosmos-2 — XLMRobertaTokenizer 或 XLMRobertaTokenizerFast (KOSMOS-2 模型)
  
• layoutlm — LayoutLMTokenizer 或 LayoutLMTokenizerFast (LayoutLM 模型)
  
• layoutlmv2 — LayoutLMv2Tokenizer 或 LayoutLMv2TokenizerFast (LayoutLMv2 模型)
  
• layoutlmv3 — LayoutLMv3Tokenizer 或 LayoutLMv3TokenizerFast (LayoutLMv3 模型)
  
• layoutxlm — LayoutXLMTokenizer 或 LayoutXLMTokenizerFast (LayoutXLM 模型)
  
• led — LEDTokenizer 或 LEDTokenizerFast (LED 模型)
  
• lilt — LayoutLMv3Tokenizer 或 LayoutLMv3TokenizerFast (LiLT 模型)
  
• llama — LlamaTokenizer 或 LlamaTokenizerFast (LLaMA 模型)
  
• llava — LlamaTokenizer 或 LlamaTokenizerFast (LLaVa 模型)
  
• longformer — LongformerTokenizer 或 LongformerTokenizerFast (Longformer 模型)
  
• longt5 — T5Tokenizer 或 T5TokenizerFast (LongT5 模型)
  
• luke — LukeTokenizer (LUKE 模型)
  
• lxmert — LxmertTokenizer 或 LxmertTokenizerFast (LXMERT 模型)
  
• m2m_100 — M2M100Tokenizer (M2M100 模型)
  
• marian — MarianTokenizer (Marian 模型)
  
• mbart — MBartTokenizer 或 MBartTokenizerFast (mBART 模型)
  
• mbart50 — MBart50Tokenizer 或 MBart50TokenizerFast (mBART-50 模型)
  
• mega — RobertaTokenizer 或 RobertaTokenizerFast (MEGA 模型)
  
• megatron-bert — BertTokenizer 或 BertTokenizerFast (Megatron-BERT 模型)
  
• mgp-str — MgpstrTokenizer (MGP-STR 模型)
  
• mistral — LlamaTokenizer 或 LlamaTokenizerFast (Mistral 模型)
  
• mixtral — LlamaTokenizer 或 LlamaTokenizerFast (Mixtral 模型)
  
• mluke — MLukeTokenizer (mLUKE 模型)
  
• mobilebert — MobileBertTokenizer 或 MobileBertTokenizerFast (MobileBERT 模型)
  
• mpnet — MPNetTokenizer 或 MPNetTokenizerFast (MPNet 模型)
  
• mpt — GPTNeoXTokenizerFast (MPT 模型)
  
• mra — RobertaTokenizer 或 RobertaTokenizerFast (MRA 模型)
  
• mt5 — MT5Tokenizer 或 MT5TokenizerFast (MT5 模型)
  
• musicgen — T5Tokenizer 或 T5TokenizerFast (MusicGen 模型)
  
• mvp — MvpTokenizer 或 MvpTokenizerFast (MVP 模型)
  
• nezha — BertTokenizer 或 BertTokenizerFast (Nezha 模型)
  
• nllb — NllbTokenizer 或 NllbTokenizerFast (NLLB 模型)
  
• nllb-moe — NllbTokenizer 或 NllbTokenizerFast (NLLB-MOE 模型)
  
• nystromformer — AlbertTokenizer 或 AlbertTokenizerFast（Nyströmformer 模型）
  
• oneformer — CLIPTokenizer 或 CLIPTokenizerFast（OneFormer 模型）
  
• openai-gpt — OpenAIGPTTokenizer 或 OpenAIGPTTokenizerFast（OpenAI GPT 模型）
  
• opt — GPT2Tokenizer 或 GPT2TokenizerFast（OPT 模型）
  
• owlv2 — CLIPTokenizer 或 CLIPTokenizerFast（OWLv2 模型）
  
• owlvit — CLIPTokenizer 或 CLIPTokenizerFast（OWL-ViT 模型）
  
• pegasus — PegasusTokenizer 或 PegasusTokenizerFast（Pegasus 模型）
  
• pegasus_x — PegasusTokenizer 或 PegasusTokenizerFast（PEGASUS-X 模型）
  
• perceiver — PerceiverTokenizer（Perceiver 模型）
  
• persimmon — LlamaTokenizer 或 LlamaTokenizerFast（Persimmon 模型）
  
• phi — CodeGenTokenizer 或 CodeGenTokenizerFast（Phi 模型）
  
• phobert — PhobertTokenizer（PhoBERT 模型）
  
• pix2struct — T5Tokenizer 或 T5TokenizerFast（Pix2Struct 模型）
  
• plbart — PLBartTokenizer（PLBart 模型）
  
• prophetnet — ProphetNetTokenizer（ProphetNet 模型）
  
• qdqbert — BertTokenizer 或 BertTokenizerFast（QDQBert 模型）
  
• qwen2 — Qwen2Tokenizer 或 Qwen2TokenizerFast（Qwen2 模型）
  
• rag — RagTokenizer（RAG 模型）
  
• realm — RealmTokenizer 或 RealmTokenizerFast（REALM 模型）
  
• reformer — ReformerTokenizer 或 ReformerTokenizerFast (Reformer 模型)
  
• rembert — RemBertTokenizer 或 RemBertTokenizerFast (RemBERT 模型)
  
• retribert — RetriBertTokenizer 或 RetriBertTokenizerFast (RetriBERT 模型)
  
• roberta — RobertaTokenizer 或 RobertaTokenizerFast (RoBERTa 模型)
  
• roberta-prelayernorm — RobertaTokenizer 或 RobertaTokenizerFast (RoBERTa-PreLayerNorm 模型)
  
• roc_bert — RoCBertTokenizer (RoCBert 模型)
  
• roformer — RoFormerTokenizer 或 RoFormerTokenizerFast (RoFormer 模型)
  
• rwkv — GPTNeoXTokenizerFast (RWKV 模型)
  
• seamless_m4t — SeamlessM4TTokenizer 或 SeamlessM4TTokenizerFast (SeamlessM4T 模型)
  
• seamless_m4t_v2 — SeamlessM4TTokenizer 或 SeamlessM4TTokenizerFast (SeamlessM4Tv2 模型)
  
• siglip — SiglipTokenizer (SigLIP 模型)
  
• speech_to_text — Speech2TextTokenizer (Speech2Text 模型)
  
• speech_to_text_2 — Speech2Text2Tokenizer (Speech2Text2 模型)
  
• speecht5 — SpeechT5Tokenizer (SpeechT5 模型)
  
• splinter — SplinterTokenizer 或 SplinterTokenizerFast (Splinter 模型)
  
• squeezebert — SqueezeBertTokenizer 或 SqueezeBertTokenizerFast (SqueezeBERT 模型)
  
• switch_transformers — T5Tokenizer 或 T5TokenizerFast (SwitchTransformers 模型)
  
• t5 — T5Tokenizer 或 T5TokenizerFast (T5 模型)
  
• tapas — TapasTokenizer (TAPAS 模型)
  
• tapex — TapexTokenizer (TAPEX 模型)
  
• transfo-xl — TransfoXLTokenizer (Transformer-XL 模型)
  
• tvp — BertTokenizer 或 BertTokenizerFast (TVP 模型)
  
• umt5 — T5Tokenizer 或 T5TokenizerFast (UMT5 模型)
  
• vilt — BertTokenizer 或 BertTokenizerFast (ViLT 模型)
  
• vipllava — LlamaTokenizer 或 LlamaTokenizerFast (VipLlava 模型)
  
• visual_bert — BertTokenizer 或 BertTokenizerFast (VisualBERT 模型)
  
• vits — VitsTokenizer (VITS 模型)
  
• wav2vec2 — Wav2Vec2CTCTokenizer (Wav2Vec2 模型)
  
• wav2vec2-bert — Wav2Vec2CTCTokenizer (Wav2Vec2-BERT 模型)
  
• wav2vec2-conformer — Wav2Vec2CTCTokenizer (Wav2Vec2-Conformer 模型)
  
• wav2vec2_phoneme — Wav2Vec2PhonemeCTCTokenizer (Wav2Vec2Phoneme 模型)
  
• whisper — WhisperTokenizer 或 WhisperTokenizerFast (Whisper 模型)
  
• xclip — CLIPTokenizer 或 CLIPTokenizerFast (X-CLIP 模型)
  
• xglm — XGLMTokenizer 或 XGLMTokenizerFast (XGLM 模型)
  
• xlm — XLMTokenizer (XLM 模型)
  
• xlm-prophetnet — XLMProphetNetTokenizer (XLM-ProphetNet 模型)
  
• xlm-roberta — XLMRobertaTokenizer 或 XLMRobertaTokenizerFast (XLM-RoBERTa 模型)
  
• xlm-roberta-xl — XLMRobertaTokenizer 或 XLMRobertaTokenizerFast (XLM-RoBERTa-XL 模型)
  
• xlnet — XLNetTokenizer 或 XLNetTokenizerFast (XLNet 模型)
  
• xmod — XLMRobertaTokenizer 或 XLMRobertaTokenizerFast (X-MOD 模型)
  
• yoso — AlbertTokenizer 或 AlbertTokenizerFast（YOSO 模型）
  

示例：

>>> from transformers import AutoTokenizer
>>> # Download vocabulary from huggingface.co and cache.
>>> tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
>>> # Download vocabulary from huggingface.co (user-uploaded) and cache.
>>> tokenizer = AutoTokenizer.from_pretrained("dbmdz/bert-base-german-cased")
>>> # If vocabulary files are in a directory (e.g. tokenizer was saved using *save_pretrained('./test/saved_model/')*)
>>> # tokenizer = AutoTokenizer.from_pretrained("./test/bert_saved_model/")
>>> # Download vocabulary from huggingface.co and define model-specific arguments
>>> tokenizer = AutoTokenizer.from_pretrained("roberta-base", add_prefix_space=True)

register

< source >

( config_class slow_tokenizer_class = None fast_tokenizer_class = None exist_ok = False )

参数

• config_class (PretrainedConfig) — 与要注册的模型对应的配置。
  
• slow_tokenizer_class (PretrainedTokenizer, optional) — 要注册的慢速分词器。
  
• fast_tokenizer_class (PretrainedTokenizerFast, optional) — 要注册的快速分词器。
  

在此映射中注册一个新的分词器。

AutoFeatureExtractor

class transformers.AutoFeatureExtractor

< source >

( )

这是一个通用的特征提取器类，在使用 AutoFeatureExtractor.from_pretrained() 类方法创建时，将实例化为库的特征提取器类之一。

这个类不能直接使用 __init__() 实例化（会抛出错误）。

from_pretrained

< source >

( pretrained_model_name_or_path **kwargs )

参数

• pretrained_model_name_or_path (str 或 os.PathLike) — 这可以是：

• 一个字符串，预训练特征提取器的 模型 ID，托管在 huggingface.co 上的模型存储库中。有效的模型 ID 可以位于根级别，如 bert-base-uncased，或者在用户或组织名称下命名空间化，如 dbmdz/bert-base-german-cased。
  
• 一个包含使用 save_pretrained() 方法保存的特征提取器文件的 目录 路径，例如 ./my_model_directory/。
  
• 一个保存的特征提取器 JSON 文件 的路径或 URL，例如 ./my_model_directory/preprocessor_config.json。
  

• cache_dir (str 或 os.PathLike, optional) — 下载的预训练模型特征提取器应该缓存在其中的目录路径，如果不想使用标准缓存。
  
• force_download (bool, optional, defaults to False) — 是否强制（重新）下载特征提取器文件并覆盖缓存版本（如果存在）。
  
• resume_download (bool, optional, defaults to False) — 是否删除接收不完整的文件。如果存在这样的文件，则尝试恢复下载。
  
• proxies (Dict[str, str], optional) — 一个按协议或端点使用的代理服务器字典，例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。这些代理在每个请求中使用。
  
• token (str 或 bool, optional) — 用作远程文件的 HTTP 令牌授权的令牌。如果为 True，将使用运行 huggingface-cli login 时生成的令牌（存储在 ~/.huggingface 中）。
  
• revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID，因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件，所以 revision 可以是 git 允许的任何标识符。
  
• return_unused_kwargs (bool, optional, defaults to False) — 如果为 False，则此函数仅返回最终的特征提取器对象。如果为 True，则此函数返回一个 Tuple(feature_extractor, unused_kwargs)，其中 unused_kwargs 是一个字典，包含那些未被用于更新 feature_extractor 的键/值对：即 kwargs 的一部分，未被用于更新 feature_extractor 且被忽略的部分。
  
• trust_remote_code (bool, optional, 默认为 False) — 是否允许在 Hub 上定义自定义模型并在其自己的建模文件中执行。只有对您信任的存储库以及您已阅读代码的情况下，才应将此选项设置为 True，因为它将在本地机器上执行 Hub 上存在的代码。
  
• kwargs (Dict[str, Any], optional) — 任何键为特征提取器属性的 kwargs 中的值将用于覆盖加载的值。关于键/值对中键不是特征提取器属性的行为由 return_unused_kwargs 关键参数控制。
  

从预训练模型词汇表中实例化库中的特征提取器类之一。

要实例化的特征提取器类是根据配置对象的 model_type 属性（如果可能，作为参数传递或从 pretrained_model_name_or_path 加载）选择的，或者当缺少时，通过在 pretrained_model_name_or_path 上使用模式匹配来回退：

• audio-spectrogram-transformer — ASTFeatureExtractor (Audio Spectrogram Transformer 模型)
  
• beit — BeitFeatureExtractor (BEiT 模型)
  
• chinese_clip — ChineseCLIPFeatureExtractor (Chinese-CLIP 模型)
  
• clap — ClapFeatureExtractor (CLAP 模型)
  
• clip — CLIPFeatureExtractor (CLIP 模型)
  
• clipseg — ViTFeatureExtractor (CLIPSeg 模型)
  
• clvp — ClvpFeatureExtractor (CLVP 模型)
  
• conditional_detr — ConditionalDetrFeatureExtractor (Conditional DETR 模型)
  
• convnext — ConvNextFeatureExtractor (ConvNeXT 模型)
  
• cvt — ConvNextFeatureExtractor (CvT 模型)
  
• data2vec-audio — Wav2Vec2FeatureExtractor (Data2VecAudio 模型)
  
• data2vec-vision — BeitFeatureExtractor (Data2VecVision 模型)
  
• deformable_detr — DeformableDetrFeatureExtractor (Deformable DETR 模型)
  
• deit — DeiTFeatureExtractor (DeiT 模型)
  
• detr — DetrFeatureExtractor (DETR 模型)
  
• dinat — ViTFeatureExtractor (DiNAT 模型)
  
• donut-swin — DonutFeatureExtractor (DonutSwin 模型)
  
• dpt — DPTFeatureExtractor (DPT 模型)
  
• encodec — EncodecFeatureExtractor (EnCodec 模型)
  
• flava — FlavaFeatureExtractor (FLAVA 模型)
  
• glpn — GLPNFeatureExtractor (GLPN 模型)
  
• groupvit — CLIPFeatureExtractor (GroupViT 模型)
  
• hubert — Wav2Vec2FeatureExtractor (Hubert 模型)
  
• imagegpt — ImageGPTFeatureExtractor (ImageGPT 模型)
  
• layoutlmv2 — LayoutLMv2FeatureExtractor (LayoutLMv2 模型)
  
• layoutlmv3 — LayoutLMv3FeatureExtractor (LayoutLMv3 模型)
  
• levit — LevitFeatureExtractor (LeViT 模型)
  
• maskformer — MaskFormerFeatureExtractor (MaskFormer 模型)
  
• mctct — MCTCTFeatureExtractor (M-CTC-T 模型)
  
• mobilenet_v1 — MobileNetV1FeatureExtractor (MobileNetV1 模型)
  
• mobilenet_v2 — MobileNetV2FeatureExtractor (MobileNetV2 模型)
  
• mobilevit — MobileViTFeatureExtractor (MobileViT 模型)
  
• nat — ViTFeatureExtractor (NAT 模型)
  
• owlvit — OwlViTFeatureExtractor (OWL-ViT 模型)
  
• perceiver — PerceiverFeatureExtractor (Perceiver 模型)
  
• poolformer — PoolFormerFeatureExtractor (PoolFormer 模型)
  
• pop2piano — Pop2PianoFeatureExtractor (Pop2Piano 模型)
  
• regnet — ConvNextFeatureExtractor (RegNet 模型)
  
• resnet — ConvNextFeatureExtractor (ResNet 模型)
  
• seamless_m4t — SeamlessM4TFeatureExtractor (SeamlessM4T 模型)
  
• seamless_m4t_v2 — SeamlessM4TFeatureExtractor (SeamlessM4Tv2 模型)
  
• segformer — SegformerFeatureExtractor (SegFormer 模型)
  
• sew — Wav2Vec2FeatureExtractor (SEW 模型)
  
• sew-d — Wav2Vec2FeatureExtractor (SEW-D 模型)
  
• speech_to_text — Speech2TextFeatureExtractor (Speech2Text 模型)
  
• speecht5 — SpeechT5FeatureExtractor (SpeechT5 模型)
  
• swiftformer — ViTFeatureExtractor (SwiftFormer 模型)
  
• swin — ViTFeatureExtractor (Swin Transformer 模型)
  
• swinv2 — ViTFeatureExtractor (Swin Transformer V2 模型)
  
• table-transformer — DetrFeatureExtractor (Table Transformer 模型)
  
• timesformer — VideoMAEFeatureExtractor (TimeSformer 模型)
  
• tvlt — TvltFeatureExtractor (TVLT 模型)
  
• unispeech — Wav2Vec2FeatureExtractor (UniSpeech 模型)
  
• unispeech-sat — Wav2Vec2FeatureExtractor (UniSpeechSat 模型)
  
• univnet — UnivNetFeatureExtractor (UnivNet 模型)
  
• van — ConvNextFeatureExtractor (VAN 模型)
  
• videomae — VideoMAEFeatureExtractor (VideoMAE 模型)
  
• vilt — ViltFeatureExtractor (ViLT 模型)
  
• vit — ViTFeatureExtractor (ViT 模型)
  
• vit_mae — ViTFeatureExtractor (ViTMAE 模型)
  
• vit_msn — ViTFeatureExtractor (ViTMSN 模型)
  
• wav2vec2 — Wav2Vec2FeatureExtractor (Wav2Vec2 模型)
  
• wav2vec2-bert — Wav2Vec2FeatureExtractor (Wav2Vec2-BERT 模型)
  
• wav2vec2-conformer — Wav2Vec2FeatureExtractor (Wav2Vec2-Conformer 模型)
  
• wavlm — Wav2Vec2FeatureExtractor (WavLM 模型)
  
• whisper — WhisperFeatureExtractor (Whisper 模型)
  
• xclip — CLIPFeatureExtractor (X-CLIP 模型)
  
• yolos — YolosFeatureExtractor (YOLOS 模型)
  

当您想使用私有模型时，需要传递 token=True。

示例：

>>> from transformers import AutoFeatureExtractor
>>> # Download feature extractor from huggingface.co and cache.
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base-960h")
>>> # If feature extractor files are in a directory (e.g. feature extractor was saved using *save_pretrained('./test/saved_model/')*)
>>> # feature_extractor = AutoFeatureExtractor.from_pretrained("./test/saved_model/")

register

< source >

( config_class feature_extractor_class exist_ok = False )

参数

• config_class (PretrainedConfig) — 要注册的模型对应的配置。
  
• feature_extractor_class (FeatureExtractorMixin) — 要注册的特征提取器。
  

为此类注册一个新的特征提取器。

AutoImageProcessor

class transformers.AutoImageProcessor

< source >

( )

这是一个通用的图像处理器类，在使用 AutoImageProcessor.from_pretrained() 类方法创建时，将被实例化为库中的图像处理器类之一。

这个类不能直接使用 __init__() 实例化（会抛出错误）。

from_pretrained

< source >

( pretrained_model_name_or_path **kwargs )

参数

• pretrained_model_name_or_path (str 或 os.PathLike) — 这可以是：

• 一个预训练图像处理器的 模型 id，托管在 huggingface.co 上的模型存储库中。有效的模型 id 可以位于根级别，如 bert-base-uncased，或者在用户或组织名称下命名空间化，如 dbmdz/bert-base-german-cased。
  
• 一个包含使用 save_pretrained() 方法保存的图像处理器文件的 目录 路径，例如，./my_model_directory/。
  
• 一个保存的图像处理器 JSON 文件 的路径或 URL，例如，./my_model_directory/preprocessor_config.json。
  

• cache_dir (str 或 os.PathLike, 可选) — 预下载的预训练模型图像处理器应该缓存在其中的目录路径，如果不应使用标准缓存。
  
• force_download (bool, 可选, 默认为 False) — 是否强制（重新）下载图像处理器文件并覆盖缓存版本（如果存在）。
  
• resume_download (bool, 可选, 默认为 False) — 是否删除接收不完整的文件。如果存在这样的文件，则尝试恢复下载。
  
• proxies (Dict[str, str], 可选) — 一个按协议或端点使用的代理服务器字典，例如，{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。这些代理在每个请求上使用。
  
• token (str 或 bool, 可选) — 用作远程文件的 HTTP bearer 授权的令牌。如果为 True，将使用运行 huggingface-cli login 时生成的令牌（存储在 ~/.huggingface 中）。
  
• revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 id，因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件，所以 revision 可以是 git 允许的任何标识符。
  
• return_unused_kwargs (bool, 可选, 默认为 False) — 如果为 False，则此函数仅返回最终的图像处理器对象。如果为 True，则此函数返回一个 Tuple(image_processor, unused_kwargs)，其中 unused_kwargs 是一个字典，包含那些键/值对，其键不是图像处理器属性：即 kwargs 中未被用于更新 image_processor 且被忽略的部分。
  
• trust_remote_code (bool, 可选, 默认为 False) — 是否允许在 Hub 上定义自定义模型的建模文件。此选项应仅对您信任的存储库设置为 True，并且您已阅读了代码，因为它将在本地机器上执行 Hub 上存在的代码。
  
• kwargs (Dict[str, Any], 可选) — 任何键为图像处理器属性的 kwargs 中的值将用于覆盖加载的值。关于键/值对中键 不是 图像处理器属性的行为由 return_unused_kwargs 关键字参数控制。
  

从预训练模型词汇表中实例化库中的一个图像处理器类。

要实例化的图像处理器类是根据配置对象的 model_type 属性选择的（如果可能，作为参数传递或从 pretrained_model_name_or_path 加载），或者当缺少时，通过在 pretrained_model_name_or_path 上使用模式匹配来回退：

• align — EfficientNetImageProcessor (ALIGN 模型)
  
• beit — BeitImageProcessor (BEiT 模型)
  
• bit — BitImageProcessor (BiT 模型)
  
• blip — BlipImageProcessor (BLIP 模型)
  
• blip-2 — BlipImageProcessor (BLIP-2 模型)
  
• bridgetower — BridgeTowerImageProcessor (BridgeTower 模型)
  
• chinese_clip — ChineseCLIPImageProcessor (Chinese-CLIP 模型)
  
• clip — CLIPImageProcessor (CLIP 模型)
  
• clipseg — ViTImageProcessor (CLIPSeg 模型)
  
• conditional_detr — ConditionalDetrImageProcessor (Conditional DETR 模型)
  
• convnext — ConvNextImageProcessor (ConvNeXT 模型)
  
• convnextv2 — ConvNextImageProcessor (ConvNeXTV2 模型)
  
• cvt — ConvNextImageProcessor (CvT 模型)
  
• data2vec-vision — BeitImageProcessor (Data2VecVision 模型)
  
• deformable_detr — DeformableDetrImageProcessor (Deformable DETR 模型)
  
• deit — DeiTImageProcessor (DeiT 模型)
  
• deta — DetaImageProcessor (DETA 模型)
  
• detr — DetrImageProcessor (DETR 模型)
  
• dinat — ViTImageProcessor (DiNAT 模型)
  
• dinov2 — BitImageProcessor (DINOv2 模型)
  
• donut-swin — DonutImageProcessor (DonutSwin 模型)
  
• dpt — DPTImageProcessor (DPT 模型)
  
• efficientformer — EfficientFormerImageProcessor (EfficientFormer 模型)
  
• efficientnet — EfficientNetImageProcessor (EfficientNet 模型)
  
• flava — FlavaImageProcessor (FLAVA 模型)
  
• focalnet — BitImageProcessor (FocalNet 模型)
  
• fuyu — FuyuImageProcessor (Fuyu 模型)
  
• git — CLIPImageProcessor (GIT 模型)
  
• glpn — GLPNImageProcessor (GLPN 模型)
  
• groupvit — CLIPImageProcessor (GroupViT 模型)
  
• idefics — IdeficsImageProcessor (IDEFICS 模型)
  
• imagegpt — ImageGPTImageProcessor (ImageGPT 模型)
  
• instructblip — BlipImageProcessor (InstructBLIP 模型)
  
• kosmos-2 — CLIPImageProcessor (KOSMOS-2 模型)
  
• layoutlmv2 — LayoutLMv2ImageProcessor (LayoutLMv2 模型)
  
• layoutlmv3 — LayoutLMv3ImageProcessor (LayoutLMv3 模型)
  
• levit — LevitImageProcessor (LeViT 模型)
  
• llava — CLIPImageProcessor (LLaVa 模型)
  
• mask2former — Mask2FormerImageProcessor (Mask2Former 模型)
  
• maskformer — MaskFormerImageProcessor (MaskFormer 模型)
  
• mgp-str — ViTImageProcessor (MGP-STR 模型)
  
• mobilenet_v1 — MobileNetV1ImageProcessor (MobileNetV1 模型)
  
• mobilenet_v2 — MobileNetV2ImageProcessor (MobileNetV2 模型)
  
• mobilevit — MobileViTImageProcessor (MobileViT 模型)
  
• mobilevitv2 — MobileViTImageProcessor (MobileViTV2 模型)
  
• nat — ViTImageProcessor (NAT 模型)
  
• nougat — NougatImageProcessor (Nougat 模型)
  
• oneformer — OneFormerImageProcessor (OneFormer 模型)
  
• owlv2 — Owlv2ImageProcessor (OWLv2 模型)
  
• owlvit — OwlViTImageProcessor (OWL-ViT 模型)
  
• perceiver — PerceiverImageProcessor (Perceiver 模型)
  
• pix2struct — Pix2StructImageProcessor (Pix2Struct 模型)
  
• poolformer — PoolFormerImageProcessor (PoolFormer 模型)
  
• pvt — PvtImageProcessor (PVT 模型)
  
• regnet — ConvNextImageProcessor (RegNet 模型)
  
• resnet — ConvNextImageProcessor (ResNet 模型)
  
• sam — SamImageProcessor (SAM 模型)
  
• segformer — SegformerImageProcessor (SegFormer 模型)
  
• siglip — SiglipImageProcessor (SigLIP 模型)
  
• swiftformer — ViTImageProcessor (SwiftFormer 模型)
  
• swin — ViTImageProcessor (Swin Transformer model)
  
• swin2sr — Swin2SRImageProcessor (Swin2SR model)
  
• swinv2 — ViTImageProcessor (Swin Transformer V2 model)
  
• table-transformer — DetrImageProcessor (Table Transformer model)
  
• timesformer — VideoMAEImageProcessor (TimeSformer model)
  
• tvlt — TvltImageProcessor (TVLT model)
  
• tvp — TvpImageProcessor (TVP model)
  
• upernet — SegformerImageProcessor (UPerNet model)
  
• van — ConvNextImageProcessor (VAN model)
  
• videomae — VideoMAEImageProcessor (VideoMAE model)
  
• vilt — ViltImageProcessor (ViLT model)
  
• vipllava — CLIPImageProcessor (VipLlava model)
  
• vit — ViTImageProcessor (ViT model)
  
• vit_hybrid — ViTHybridImageProcessor (ViT Hybrid model)
  
• vit_mae — ViTImageProcessor (ViTMAE model)
  
• vit_msn — ViTImageProcessor (ViTMSN model)
  
• vitmatte — VitMatteImageProcessor (ViTMatte model)
  
• xclip — CLIPImageProcessor (X-CLIP model)
  
• yolos — YolosImageProcessor (YOLOS model)
  

当您想使用私有模型时，需要传递token=True。

示例：

>>> from transformers import AutoImageProcessor
>>> # Download image processor from huggingface.co and cache.
>>> image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224-in21k")
>>> # If image processor files are in a directory (e.g. image processor was saved using *save_pretrained('./test/saved_model/')*)
>>> # image_processor = AutoImageProcessor.from_pretrained("./test/saved_model/")

register

< source >

( config_class image_processor_class exist_ok = False )

参数

• config_class (PretrainedConfig) — 与要注册的模型对应的配置。
  
• image_processor_class (ImageProcessingMixin) — 要注册的图像处理器。
  

为这个类注册一个新的图像处理器。

Transformers 4.37 中文文档（十三）（4）https://developer.aliyun.com/article/1564949