我看hf上的示例并没有指定版本,所以不确定hf的模型是否跟ModelScope的一致?
是的,hf(Hugging Face)上的示例没有指定版本,所以它使用的是最新的预训练模型。ModelScope和hf的模型是一致的,但在某些情况下,它们可能会使用不同的参数设置或实现细节。在这种情况下,你可以尝试在ModelScope中指定一个特定的版本,以确保与hf的模型保持一致。
以下是修改后的代码:
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-14B-Chat-Int4", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-14B-Chat-Int4", trust_remote_code=True)
history = model.chat(tokenizer, "你好", history=None)
这段代码将使用指定的版本("Qwen/Qwen-14B-Chat-Int4")加载预训练模型,并使用model.chat()
方法进行聊天。