"ModelScope中,gen = inference_stream(model=model,
template=template,query=message,history=history_messages[1])
# # data=""""
resp_len=0
for response, _ in gen:
yield {
""event"": ""message"",
""retry"": 15000, # milisecond
""data"": response[resp_len:]
}
resp_len=len(response)
await asyncio.sleep(0.01) 这个输出 如何判断是否是最后的标记呢 ?"
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352