开发者社区 > 通义大模型 > 正文

在使用fastapi的时候,怎么实现流式输出?

def call_llm(self, user_prompt, system_prompt):
messages = []
if len(user_prompt) > 0:
messages.append({"role": "user", "content": user_prompt})

    if len(system_prompt) > 0:
        messages.append({"role": "system", "content": system_prompt})

    data = {
        "model": self.LLM_MODEL,
        "messages": messages,
        "temperature": 0,
        "stream": True
    }


    response = requests.post(self.llm_url, headers=self.llm_header, json=data)
    res = response.json()['choices'][0]['message']['content']
    return res

展开
收起
游客3nu5kaagtv3zs 2024-11-15 16:49:33 15 0
0 条回答
写回答
取消 提交回答
问答地址:

通义千问大模型家族全面升级更大参数规模模型首次面世,全新通义千问2.0版本欢迎体验。https://tongyi.aliyun.com/

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载