开发者社区 > ModelScope模型即服务 > 正文

请问ModelScope如何在Api中调用呢?

"请问ModelScope如何在Api中调用呢? 我的代码是os.environ[""OPENAI_API_KEY""] = ""EMPTY""
os.environ[""OPENAI_BASE_URL""] = ""http://localhost:8000/v1""

from openai import OpenAI

client = OpenAI()

使用 OpenAI Python 客户端与 Qwen2 进行交互

client = openai.Client()

response = client.chat.completions.create(
model=""qwen/Qwen2-7B"",
messages=[
{""role"": ""system"", ""content"": ""You are a helpful assistant.""},
{""role"": ""user"", ""content"": ""Tell me something about large language models.""},
]
)

print(""Chat response:"", response['choices'][0]['message']['content'])
。除了将os.environ[""OPENAI_BASE_URL""] = ""http://localhost:8000/v1""
改成您说的网址之外,-H ""Content-Type: application/json"" \在哪添加呢?"

展开
收起
小小爱吃香菜 2024-07-17 08:15:34 46 0
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
Spring Boot2.0实战Redis分布式缓存 立即下载
CUDA MATH API 立即下载
API PLAYBOOK 立即下载