sentence_transformers模型无法直接下载的解决方案

简介: 本文介绍使用sentence_transformers包(官网:https://huggingface.co/sentence-transformers)时,直接调用模型名称无法下载模型的解决方案。其实跟transformers包差不多,都是把文件下载到本地然后直接使用路径加载模型。

一开始我用的代码是:

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('all-MiniLM-L6-v2')


好几次都在下载了一小部分之后失败了。


所以改为提前将模型下载到本地(wget稳定性更强,可以无限retry,我下pytorch_model.bin重试了8次):

  1. 这个模型的网址很容易找到:https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2
  2. 挨个下载文件到本地:
mkdir /data/pretrained_model/all-MiniLM-L6-v2
wget -P /data/pretrained_model/all-MiniLM-L6-v2 https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/config.json
wget -P /data/pretrained_model/all-MiniLM-L6-v2 https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/pytorch_model.bin
wget -P /data/pretrained_model/all-MiniLM-L6-v2 https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/data_config.json
wget -P /data/pretrained_model/all-MiniLM-L6-v2 https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/config_sentence_transformers.json
wget -P /data/pretrained_model/all-MiniLM-L6-v2 https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/modules.json
wget -P /data/pretrained_model/all-MiniLM-L6-v2 https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/sentence_bert_config.json
wget -P /data/pretrained_model/all-MiniLM-L6-v2 https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/special_tokens_map.json
wget -P /data/pretrained_model/all-MiniLM-L6-v2 https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/tokenizer.json
wget -P /data/pretrained_model/all-MiniLM-L6-v2 https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/tokenizer_config.json
wget -P /data/pretrained_model/all-MiniLM-L6-v2 https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/train_script.py
wget -P /data/pretrained_model/all-MiniLM-L6-v2 https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/vocab.txt
mkdir /data/pretrained_model/all-MiniLM-L6-v2/1_Pooling
wget -P /data/pretrained_model/all-MiniLM-L6-v2/1_Pooling https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/1_Pooling/config.json


然后代码直接改成:

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('/data/pretrained_model/all-MiniLM-L6-v2')


其他一切不变即可。

相关文章
|
1月前
|
机器学习/深度学习 数据采集 自然语言处理
HuggingFace Transformers 库深度应用指南
本文首先介绍HuggingFace Tra环境配置与依赖安装,确保读者具备Python编程、机器学习和深度学习基础知识。接着深入探讨Transformers的核心组件,并通过实战案例展示其应用。随后讲解模型加载优化、批处理优化等实用技巧。在核心API部分,详细解析Tokenizers、Models、Configuration和Dataset的使用方法。文本生成章节则涵盖基础概念、GPT2生成示例及高级生成技术。最后,针对模型训练与优化,介绍预训练模型微调、超参数优化和推理加速等内容。通过这些内容,帮助读者掌握HuggingFace Transformers的深度使用,开发高效智能的NLP应用。
128 22
|
自然语言处理 数据挖掘 PyTorch
huggingface.transformers速成笔记:Pipeline推理和AutoClass
本部分首先介绍如何使用pipeline()进行快速推理,然后介绍AutoClass:用AutoModel加载预训练模型、用tokenizer将文本转化为模型的数字输入、用AutoConfig来改变模型超参、用AutoFeatureExtractor加载预训练的feature extractor、用AutoProcessor加载预训练的processor。 本文将仅关注PyTorch语言,但对TensorFlow语言的适配在本部分文档也有描述。
huggingface.transformers速成笔记:Pipeline推理和AutoClass
|
机器学习/深度学习 人工智能 缓存
用huggingface.transformers.AutoModelForSequenceClassification在文本分类任务上微调预训练模型
本部分以文本分类任务为例,介绍transformers上如何微调预训练模型。
用huggingface.transformers.AutoModelForSequenceClassification在文本分类任务上微调预训练模型
|
数据采集 机器学习/深度学习 自然语言处理
Huggingface Transformers各类库介绍(Tokenizer、Pipeline)
Huggingface Transformers各类库介绍(Tokenizer、Pipeline)
|
机器学习/深度学习 存储 PyTorch
Huggingface:导出transformers模型到onnx
上一篇的初体验之后,本篇我们继续探索,将transformers模型导出到onnx。这里主要参考huggingface的官方文档:https://huggingface.co/docs/transformers/v4.20.1/en/serialization#exporting-a-model-to-onnx。
1336 0
|
3月前
|
数据采集 监控 异构计算
transformers+huggingface训练模型
本教程介绍了如何使用 Hugging Face 的 `transformers` 库训练一个 BERT 模型进行情感分析。主要内容包括:导入必要库、下载 Yelp 评论数据集、数据预处理、模型加载与配置、定义训练参数、评估指标、实例化训练器并开始训练,最后保存模型和训练状态。整个过程详细展示了如何利用预训练模型进行微调,以适应特定任务。
317 3
|
3月前
|
数据采集 自然语言处理 PyTorch
动手实践:使用Hugging Face Transformers库构建文本分类模型
【10月更文挑战第29天】作为一名自然语言处理(NLP)爱好者,我一直对如何利用最先进的技术解决实际问题充满兴趣。Hugging Face 的 Transformers 库无疑是目前最流行的 NLP 工具之一,它提供了大量的预训练模型和便捷的接口,使得构建和训练文本分类模型变得更加简单高效。本文将通过具体的实例教程,指导读者如何使用 Hugging Face 的 Transformers 库快速构建和训练一个文本分类模型,包括环境搭建、数据预处理、模型选择与训练等步骤。
198 0
|
机器学习/深度学习 存储 自然语言处理
使用Sentence Transformers和Faiss构建语义搜索引擎
使用Sentence Transformers和Faiss构建语义搜索引擎
1268 0
使用Sentence Transformers和Faiss构建语义搜索引擎
|
机器学习/深度学习 自然语言处理 数据挖掘
huggingface.transformers任务简介
本部分介绍了一些常见NLP任务使用transformers包的解决方案。本文使用的AutoModel具体内容可以参阅其文档,也可以参考我此前的撰写的transformers包文档笔记,我介绍了一些相关的用法和示例代码。
huggingface.transformers任务简介
|
机器学习/深度学习 JSON 自然语言处理
基于Vision Transformers的文档理解简介
文档理解是从pdf、图像和Word文档中提取关键信息的技术。这篇文章的目标是提供一个文档理解模型的概述。
251 0

热门文章

最新文章