GPT3-中文-1.3B和2.7B怎么加载模型,模型文件里只有一个pt文件没有bin文件。 通常有pytorch_model.bin可以直接使用from_pretrained()方法直接加载,但是GPT3-中文-1.3B和2.7B里面只有个pt文件,没有bin,该怎么加载模型?
直接使用实例程序会报错
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
input = '程序员脱发用什么洗发水'
#下载的本地文件
model_id = 'model/gpt3-1.3B/damo/nlp_gpt3_text-generation_1.3B/'
pipe = pipeline(Tasks.text_generation, model=model_id)
print(pipe(input))
会报如下错误:
如果GPT3-中文-1.3B和2.7B里面只有pt文件,没有bin文件,就和你说的一样无法使用from_pretrained()方法直接加载。
可以试试看就是使用torch.load()方法加载pt文件,然后使用model.eval()方法将模型设置为评估模式,最后使用model.to()方法将模型转换到指定的设备上。