Transformers 4.37 中文文档(十三)(1)https://developer.aliyun.com/article/1564946
AgentImage
class transformers.tools.agent_types.AgentImage
( value )
代理返回的图像类型。行为类似于 PIL.Image。
to_raw
( )
返回该对象的“原始”版本。在 AgentImage 的情况下,它是一个 PIL.Image。
to_string
( )
返回该对象的字符串版本。在 AgentImage 的情况下,它是图像序列化版本的路径。
AgentAudio
class transformers.tools.agent_types.AgentAudio
( value samplerate = 16000 )
代理返回的音频类型。
to_raw
( )
返回该对象的“原始”版本。它是一个torch.Tensor对象。
to_string
( )
返回该对象的字符串版本。在 AgentAudio 的情况下,它是音频序列化版本的路径。
自动类
原始文本:
huggingface.co/docs/transformers/v4.37.2/en/model_doc/auto
在许多情况下,您想要使用的架构可以从您提供给from_pretrained()方法的预训练模型的名称或路径中猜出。AutoClasses 在这里为您执行此操作,以便根据预训练权重/配置/词汇的名称/路径自动检索相关模型。
实例化 AutoConfig、AutoModel 和 AutoTokenizer 中的一个将直接创建相关架构的类。例如
model = AutoModel.from_pretrained("bert-base-cased")
将创建一个 BertModel 的实例模型。
每个任务和每个后端(PyTorch、TensorFlow 或 Flax)都有一个AutoModel类。
扩展自动类
每个自动类都有一个方法可以用来扩展您的自定义类。例如,如果您定义了一个名为NewModel的自定义模型类,请确保有一个NewModelConfig,然后您可以像这样将它们添加到自动类中:
from transformers import AutoConfig, AutoModel AutoConfig.register("new-model", NewModelConfig) AutoModel.register(NewModelConfig, NewModel)
然后您就可以像通常一样使用自动类了!
如果您的NewModelConfig是 PretrainedConfig 的子类,请确保其model_type属性设置为注册配置时使用的相同键(这里是"new-model")。
同样,如果您的NewModel是 PreTrainedModel 的子类,请确保其config_class属性设置为注册模型时使用的相同类(这里是NewModelConfig)。
AutoConfig
class transformers.AutoConfig
( )
这是一个通用的配置类,当使用 from_pretrained()类方法创建时,将实例化为库的配置类之一。
这个类不能直接使用__init__()实例化(会抛出错误)。
from_pretrained
( pretrained_model_name_or_path **kwargs )
参数
pretrained_model_name_or_path(str或os.PathLike) — 可以是:
- 一个字符串,预训练模型配置的模型 id,托管在 huggingface.co 上的模型存储库中。有效的模型 id 可以位于根级别,如
bert-base-uncased,或者在用户或组织名称下命名空间,如dbmdz/bert-base-german-cased。 - 一个目录的路径,其中包含使用 save_pretrained()方法保存的配置文件,或者 save_pretrained()方法,例如
./my_model_directory/。 - 一个保存的配置 JSON 文件的路径或 url,例如
./my_model_directory/configuration.json。
cache_dir(str或os.PathLike, optional) — 下载的预训练模型配置应该缓存在其中的目录路径,如果不使用标准缓存。force_download(bool, optional, 默认为False) — 是否强制(重新)下载模型权重和配置文件,并覆盖缓存版本(如果存在)。resume_download(bool, optional, 默认为False) — 是否删除接收不完整的文件。如果存在这样的文件,将尝试恢复下载。proxies(Dict[str, str],可选)— 一个代理服务器字典,按协议或端点使用,例如,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。这些代理在每个请求上使用。revision(str,可选,默认为"main")— 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID,因为我们在 huggingface.co 上使用基于 git 的系统来存储模型和其他工件,所以revision可以是 git 允许的任何标识符。return_unused_kwargs(bool,可选,默认为False)— 如果为False,则此函数仅返回最终配置对象。
如果为True,则此函数返回一个Tuple(config, unused_kwargs),其中unused_kwargs是一个字典,由那些键/值对组成,其键不是配置属性:即kwargs的一部分,未被用于更新config且被忽略的部分。trust_remote_code(bool,可选,默认为False)— 是否允许在 Hub 上定义自定义模型的建模文件。此选项应仅对您信任的存储库设置为True,并且您已阅读代码,因为它将在本地机器上执行 Hub 上存在的代码。kwargs(附加关键字参数,可选)— kwargs 中任何键的值,其为配置属性,将用于覆盖加载的值。关于键/值对中键不是配置属性的行为由return_unused_kwargs关键字参数控制。
从预训练模型配置中实例化库的配置类之一。
实例化的配置类是根据加载的配置对象的model_type属性选择的,或者当它缺失时,通过在pretrained_model_name_or_path上使用模式匹配来回退:
albert— AlbertConfig(ALBERT 模型)align— AlignConfig(ALIGN 模型)altclip— AltCLIPConfig(AltCLIP 模型)audio-spectrogram-transformer— ASTConfig(音频频谱变换器模型)autoformer— AutoformerConfig(Autoformer 模型)bark— BarkConfig(Bark 模型)bart— BartConfig(BART 模型)beit— BeitConfig(BEiT 模型)bert— BertConfig(BERT 模型)bert-generation— BertGenerationConfig(Bert 生成模型)big_bird— BigBirdConfig(BigBird 模型)bigbird_pegasus— BigBirdPegasusConfig(BigBird-Pegasus 模型)biogpt— BioGptConfig(BioGpt 模型)bit— BitConfig(BiT 模型)blenderbot— BlenderbotConfig(Blenderbot 模型)blenderbot-small— BlenderbotSmallConfig(BlenderbotSmall 模型)blip— BlipConfig (BLIP 模型)blip-2— Blip2Config (BLIP-2 模型)bloom— BloomConfig (BLOOM 模型)bridgetower— BridgeTowerConfig (BridgeTower 模型)bros— BrosConfig (BROS 模型)camembert— CamembertConfig (CamemBERT 模型)canine— CanineConfig (CANINE 模型)chinese_clip— ChineseCLIPConfig (Chinese-CLIP 模型)clap— ClapConfig (CLAP 模型)clip— CLIPConfig (CLIP 模型)clip_vision_model— CLIPVisionConfig (CLIPVisionModel 模型)clipseg— CLIPSegConfig (CLIPSeg 模型)clvp— ClvpConfig (CLVP 模型)code_llama— LlamaConfig (CodeLlama 模型)codegen— CodeGenConfig (CodeGen 模型)conditional_detr— ConditionalDetrConfig (Conditional DETR 模型)convbert— ConvBertConfig (ConvBERT 模型)convnext— ConvNextConfig (ConvNeXT 模型)convnextv2— ConvNextV2Config (ConvNeXTV2 模型)cpmant— CpmAntConfig (CPM-Ant 模型)ctrl— CTRLConfig (CTRL 模型)cvt— CvtConfig (CvT 模型)data2vec-audio— Data2VecAudioConfig (Data2VecAudio 模型)data2vec-text— Data2VecTextConfig (Data2VecText 模型)data2vec-vision— Data2VecVisionConfig (Data2VecVision 模型)deberta— DebertaConfig (DeBERTa 模型)deberta-v2— DebertaV2Config (DeBERTa-v2 模型)decision_transformer— DecisionTransformerConfig (Decision Transformer 模型)deformable_detr— DeformableDetrConfig (Deformable DETR 模型)deit— DeiTConfig (DeiT 模型)deta— DetaConfig (DETA 模型)detr— DetrConfig (DETR 模型)dinat— DinatConfig (DiNAT 模型)dinov2— Dinov2Config (DINOv2 模型)distilbert— DistilBertConfig (DistilBERT 模型)donut-swin— DonutSwinConfig (DonutSwin 模型)dpr— DPRConfig (DPR 模型)dpt— DPTConfig (DPT 模型)efficientformer— EfficientFormerConfig (EfficientFormer 模型)efficientnet— EfficientNetConfig (EfficientNet 模型)electra— ElectraConfig (ELECTRA 模型)encodec— EncodecConfig (EnCodec 模型)encoder-decoder— EncoderDecoderConfig (编码器解码器模型)ernie— ErnieConfig (ERNIE 模型)ernie_m— ErnieMConfig (ErnieM 模型)esm— EsmConfig (ESM 模型)falcon— FalconConfig (Falcon 模型)fastspeech2_conformer— FastSpeech2ConformerConfig (FastSpeech2Conformer 模型)flaubert— FlaubertConfig (FlauBERT 模型)flava— FlavaConfig (FLAVA 模型)fnet— FNetConfig (FNet 模型)focalnet— FocalNetConfig (FocalNet 模型)fsmt— FSMTConfig (FairSeq 机器翻译模型)funnel— FunnelConfig (Funnel Transformer 模型)fuyu— FuyuConfig (Fuyu 模型)git— GitConfig (GIT 模型)glpn— GLPNConfig (GLPN 模型)gpt-sw3— GPT2Config (GPT-Sw3 模型)gpt2— GPT2Config (OpenAI GPT-2 模型)gpt_bigcode— GPTBigCodeConfig (GPTBigCode 模型)gpt_neo— GPTNeoConfig (GPT Neo 模型)gpt_neox— GPTNeoXConfig (GPT NeoX 模型)gpt_neox_japanese— GPTNeoXJapaneseConfig (GPT NeoX 日语模型)gptj— GPTJConfig (GPT-J 模型)gptsan-japanese— GPTSanJapaneseConfig(GPTSAN-japanese 模型)graphormer— GraphormerConfig(Graphormer 模型)groupvit— GroupViTConfig(GroupViT 模型)hubert— HubertConfig(Hubert 模型)ibert— IBertConfig(I-BERT 模型)idefics— IdeficsConfig(IDEFICS 模型)imagegpt— ImageGPTConfig(ImageGPT 模型)informer— InformerConfig(Informer 模型)instructblip— InstructBlipConfig(InstructBLIP 模型)jukebox— JukeboxConfig(Jukebox 模型)kosmos-2— Kosmos2Config(KOSMOS-2 模型)layoutlm— LayoutLMConfig(LayoutLM 模型)layoutlmv2— LayoutLMv2Config(LayoutLMv2 模型)layoutlmv3— LayoutLMv3Config(LayoutLMv3 模型)led— LEDConfig(LED 模型)levit— LevitConfig(LeViT 模型)lilt— LiltConfig(LiLT 模型)llama— LlamaConfig(LLaMA 模型)llava— LlavaConfig(LLaVa 模型)longformer— LongformerConfig(Longformer 模型)longt5— LongT5Config(LongT5 模型)luke— LukeConfig(LUKE 模型)lxmert— LxmertConfig(LXMERT 模型)m2m_100— M2M100Config(M2M100 模型)marian— MarianConfig(Marian 模型)markuplm— MarkupLMConfig(MarkupLM 模型)mask2former— Mask2FormerConfig(Mask2Former 模型)maskformer— MaskFormerConfig(MaskFormer 模型)maskformer-swin—MaskFormerSwinConfig(MaskFormerSwin 模型)mbart— MBartConfig(mBART 模型)mctct— MCTCTConfig(M-CTC-T 模型)mega— MegaConfig(MEGA 模型)megatron-bert— MegatronBertConfig(Megatron-BERT 模型)mgp-str— MgpstrConfig (MGP-STR 模型)mistral— MistralConfig (Mistral 模型)mixtral— MixtralConfig (Mixtral 模型)mobilebert— MobileBertConfig (MobileBERT 模型)mobilenet_v1— MobileNetV1Config (MobileNetV1 模型)mobilenet_v2— MobileNetV2Config (MobileNetV2 模型)mobilevit— MobileViTConfig (MobileViT 模型)mobilevitv2— MobileViTV2Config (MobileViTV2 模型)mpnet— MPNetConfig (MPNet 模型)mpt— MptConfig (MPT 模型)mra— MraConfig (MRA 模型)mt5— MT5Config (MT5 模型)musicgen— MusicgenConfig (MusicGen 模型)mvp— MvpConfig (MVP 模型)nat— NatConfig (NAT 模型)nezha— NezhaConfig (Nezha 模型)nllb-moe— NllbMoeConfig (NLLB-MOE 模型)nougat— VisionEncoderDecoderConfig (Nougat 模型)nystromformer— NystromformerConfig (Nyströmformer 模型)oneformer— OneFormerConfig (OneFormer 模型)open-llama— OpenLlamaConfig (OpenLlama 模型)openai-gpt— OpenAIGPTConfig (OpenAI GPT 模型)opt— OPTConfig (OPT 模型)owlv2— Owlv2Config (OWLv2 模型)owlvit— OwlViTConfig (OWL-ViT 模型)patchtsmixer— PatchTSMixerConfig (PatchTSMixer 模型)patchtst— PatchTSTConfig (PatchTST 模型)pegasus— PegasusConfig (Pegasus 模型)pegasus_x— PegasusXConfig (PEGASUS-X 模型)perceiver— PerceiverConfig (Perceiver 模型)persimmon— PersimmonConfig (Persimmon 模型)phi— PhiConfig (Phi 模型)pix2struct— Pix2StructConfig (Pix2Struct 模型)plbart— PLBartConfig (PLBart 模型)poolformer— PoolFormerConfig (PoolFormer 模型)pop2piano— Pop2PianoConfig (Pop2Piano 模型)prophetnet— ProphetNetConfig (ProphetNet 模型)pvt— PvtConfig (PVT 模型)qdqbert— QDQBertConfig (QDQBert 模型)qwen2— Qwen2Config (Qwen2 模型)rag— RagConfig (RAG 模型)realm— RealmConfig (REALM 模型)reformer— ReformerConfig (Reformer 模型)regnet— RegNetConfig (RegNet 模型)rembert— RemBertConfig (RemBERT 模型)resnet— ResNetConfig (ResNet 模型)retribert— RetriBertConfig (RetriBERT 模型)roberta— RobertaConfig (RoBERTa 模型)roberta-prelayernorm— RobertaPreLayerNormConfig (RoBERTa-PreLayerNorm 模型)roc_bert— RoCBertConfig (RoCBert 模型)roformer— RoFormerConfig (RoFormer 模型)rwkv— RwkvConfig (RWKV 模型)sam— SamConfig (SAM 模型)seamless_m4t— SeamlessM4TConfig (SeamlessM4T 模型)seamless_m4t_v2— SeamlessM4Tv2Config (SeamlessM4Tv2 模型)segformer— SegformerConfig (SegFormer 模型)sew— SEWConfig (SEW 模型)sew-d— SEWDConfig (SEW-D 模型)siglip— SiglipConfig (SigLIP 模型)siglip_vision_model— SiglipVisionConfig (SiglipVisionModel 模型)speech-encoder-decoder— SpeechEncoderDecoderConfig (Speech 编码器解码器模型)speech_to_text— Speech2TextConfig (Speech2Text 模型)speech_to_text_2— Speech2Text2Config (Speech2Text2 模型)speecht5— SpeechT5Config (SpeechT5 模型)splinter— SplinterConfig (Splinter 模型)squeezebert— SqueezeBertConfig (SqueezeBERT 模型)swiftformer— SwiftFormerConfig (SwiftFormer 模型)swin— SwinConfig (Swin Transformer 模型)swin2sr— Swin2SRConfig (Swin2SR 模型)swinv2— Swinv2Config (Swin Transformer V2 模型)switch_transformers— SwitchTransformersConfig (SwitchTransformers 模型)t5— T5Config (T5 模型)table-transformer— TableTransformerConfig (Table Transformer 模型)tapas— TapasConfig (TAPAS 模型)time_series_transformer— TimeSeriesTransformerConfig (Time Series Transformer 模型)timesformer— TimesformerConfig (TimeSformer 模型)timm_backbone—TimmBackboneConfig(TimmBackbone 模型)trajectory_transformer— TrajectoryTransformerConfig (Trajectory Transformer 模型)transfo-xl— TransfoXLConfig (Transformer-XL 模型)trocr— TrOCRConfig (TrOCR 模型)tvlt— TvltConfig (TVLT 模型)tvp— TvpConfig (TVP 模型)umt5— UMT5Config (UMT5 模型)unispeech— UniSpeechConfig (UniSpeech 模型)unispeech-sat— UniSpeechSatConfig (UniSpeechSat 模型)univnet— UnivNetConfig (UnivNet 模型)upernet— UperNetConfig (UPerNet 模型)van— VanConfig (VAN 模型)videomae— VideoMAEConfig (VideoMAE 模型)vilt— ViltConfig (ViLT 模型)vipllava— VipLlavaConfig (VipLlava 模型)vision-encoder-decoder— VisionEncoderDecoderConfig (Vision Encoder decoder 模型)vision-text-dual-encoder— VisionTextDualEncoderConfig (VisionTextDualEncoder 模型)visual_bert— VisualBertConfig(VisualBERT 模型)vit— ViTConfig(ViT 模型)vit_hybrid— ViTHybridConfig(ViT 混合模型)vit_mae— ViTMAEConfig(ViTMAE 模型)vit_msn— ViTMSNConfig(ViTMSN 模型)vitdet— VitDetConfig(VitDet 模型)vitmatte— VitMatteConfig(ViTMatte 模型)vits— VitsConfig(VITS 模型)vivit— VivitConfig(ViViT 模型)wav2vec2— Wav2Vec2Config(Wav2Vec2 模型)wav2vec2-bert— Wav2Vec2BertConfig(Wav2Vec2-BERT 模型)wav2vec2-conformer— Wav2Vec2ConformerConfig(Wav2Vec2-Conformer 模型)wavlm— WavLMConfig(WavLM 模型)whisper— WhisperConfig(Whisper 模型)xclip— XCLIPConfig(X-CLIP 模型)xglm— XGLMConfig(XGLM 模型)xlm— XLMConfig(XLM 模型)xlm-prophetnet— XLMProphetNetConfig(XLM-ProphetNet 模型)xlm-roberta— XLMRobertaConfig(XLM-RoBERTa 模型)xlm-roberta-xl— XLMRobertaXLConfig(XLM-RoBERTa-XL 模型)xlnet— XLNetConfig(XLNet 模型)xmod— XmodConfig(X-MOD 模型)yolos— YolosConfig(YOLOS 模型)yoso— YosoConfig(YOSO 模型)
示例:
>>> from transformers import AutoConfig >>> # Download configuration from huggingface.co and cache. >>> config = AutoConfig.from_pretrained("bert-base-uncased") >>> # Download configuration from huggingface.co (user-uploaded) and cache. >>> config = AutoConfig.from_pretrained("dbmdz/bert-base-german-cased") >>> # If configuration file is in a directory (e.g., was saved using *save_pretrained('./test/saved_model/')*). >>> config = AutoConfig.from_pretrained("./test/bert_saved_model/") >>> # Load a specific configuration file. >>> config = AutoConfig.from_pretrained("./test/bert_saved_model/my_configuration.json") >>> # Change some config attributes when loading a pretrained config. >>> config = AutoConfig.from_pretrained("bert-base-uncased", output_attentions=True, foo=False) >>> config.output_attentions True >>> config, unused_kwargs = AutoConfig.from_pretrained( ... "bert-base-uncased", output_attentions=True, foo=False, return_unused_kwargs=True ... ) >>> config.output_attentions True >>> unused_kwargs {'foo': False}
register
( model_type config exist_ok = False )
参数
model_type(str)— 模型类型,如“bert”或“gpt”。config(PretrainedConfig)— 要注册的配置。
为这个类注册一个新的配置。
Transformers 4.37 中文文档(十三)(3)https://developer.aliyun.com/article/1564948