如何通过ModelScope的API来使用"通义千问-72B-对话-Demo"?
ModelScope中的Use via API是指通过API接口来使用模型。通义千问-72B-对话-Demo是一个基于通义千问-72B模型的对话系统示例,可以通过API接口进行调用。
要使用通义千问-72B-对话-Demo,您需要按照以下步骤操作:
注册并登录ModelScope平台。
在ModelScope平台上找到通义千问-72B-对话-Demo,点击进入详情页面。
在详情页面中,您可以查看模型的基本信息、API文档和示例代码等。
根据API文档提供的接口参数和请求方式,编写您的代码来调用通义千问-72B-对话-Demo模型。
运行您的代码,即可得到模型的输出结果。
ModelScope是一个模型管理平台,提供了丰富的预训练模型和API接口。要使用ModelScope中的Use via API,您需要按照以下步骤操作:
pip install modelscope
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
task = Tasks.dialogue_generation
model_id = 'damo/nlp_conversational-72B-dialog'
pipe = pipeline(task, model=model_id)
input_text = "你好,我想和你聊聊天。"
output = pipe(input_text)
print(output)
这样,您就可以使用ModelScope中的Use via API进行通义千问-72B-对话任务了。
模型卡片上有使用vLLM和类OpenAI接口进行推理,您也可以看下模型服务https://help.aliyun.com/zh/dashscope/developer-reference/tongyi-qianwen-7b-14b-72b-quick-start?spm=a2c4g.11186623.0.0.6c039b6ewRyMEj ,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”