ModelScope yi-34b运行不成功,给个示例代码吧?有gradio的最好
ModelScope的Yi-34b模型是一个基于Transformer架构的预训练语言模型,可以用于各种自然语言处理任务。以下是一个简单的示例代码,使用Gradio库来展示如何使用Yi-34b模型进行文本生成:
from transformers import AutoTokenizer, AutoModelForCausalLM
import gradio as gr
# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained("modelscope/yi-34b")
model = AutoModelForCausalLM.from_pretrained("modelscope/yi-34b")
def generate_text(input_text):
"""
使用Yi-34b模型生成文本
:param input_text: 输入文本
:return: 生成的文本
"""
inputs = tokenizer.encode(input_text, return_tensors="pt")
outputs = model.generate(inputs, max_length=100, temperature=0.9, num_return_sequences=1)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
return generated_text
# 创建Gradio界面
iface = gr.Interface(fn=generate_text, inputs="text", outputs="text")
iface.launch()
在运行此代码之前,请确保已安装所需的库,如transformers、gradio等。您可以使用以下命令安装这些库:
pip install transformers gradio
运行上述代码后,您将看到一个Gradio界面,可以在其中输入文本并查看Yi-34b模型生成的文本。