您好,麻烦问一下文本推理类的任务支持,流式返回数据吗? 比如这个像这个模型 pipe = pipeline(task=Tasks.chat, model='ZhipuAI/ChatGLM-6B', model_revision='v1.0.7')
目前模型的现在的版本还不支持流式的返回数据,有个新版本支持的,我们也在积极的集成中。,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
流式返回数据可以通过设置pipeline中的streaming参数来实现。对于文本推理类任务,比如对话生成任务,设置streaming=True可以让模型逐步生成响应,而不是等到模型完全计算出结果之后再返回。具体来说,当设置streaming=True时,pipeline的__call__方法会返回一个迭代器,每次迭代会返回一个文本字符串或一个字典,其中包含了一部分模型生成的结果。
以你提供的模型ZhipuAI/ChatGLM-6B为例,如果要启用流式计算,可以这样初始化pipeline:
pipe = pipeline(task=Tasks.chat, model='ZhipuAI/ChatGLM-6B', model_revision='v1.0.7', streaming=True)
然后,你可以像这样迭代pipeline对象,逐步生成对话的响应:
input_text =