开发者社区 > ModelScope模型即服务 > 正文

modelscope中,把history删除了,还是没写完,怎么解决?

"020251e957d3276b3f919f694f50b7dd.png
modelscope中,把history删除了,还是没写完,怎么解决? request_list = [{'query': '你好!'}, {'query': '请写一篇关于广东特色文化的介绍,字数1000字'}]
resp_list = inference_vllm(llm_engine, template, request_list)
for request, resp in zip(request_list, resp_list):
print(f""query: {request['query']}"")
print(f""response: {resp['response']}"")"

展开
收起
小小爱吃香菜 2024-04-16 19:17:39 35 0
1 条回答
写回答
取消 提交回答
  • "01e8c21cbeecf2fc3788959d19b95997.png
    max_new_tokens 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"

    2024-04-16 21:50:11
    赞同 2 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载