有朋友体验过ModelScope yi-34b模型吗?有没有示例代码
是的,ModelScope 提供了 Yi-34b 模型。以下是一个简单的示例代码:
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("modelscope/yi-34b")
model = AutoModel.from_pretrained("modelscope/yi-34b")
inputs = tokenizer("Hello, world!", return_tensors="pt")
outputs = model(**inputs)
这段代码首先加载了Yi-34b模型和对应的分词器,然后对输入进行了编码。接着,我们使用AutoModel类来创建模型实例,并将输入传递给模型进行推理。