AI 助理
备案控制台登录注册
开发者社区 ModelScope模型即服务 正文

modelscope里用vllm调用千问1.5-7b流式输出，没输出完就结束了，有限制输出多少字吗?

modelscope里用vllm调用千问1.5-7b，流式输出，文字多了，没输出完就finish了，是什么参数有限制输出多少字吗？

展开
收起
防火防爆 2024-08-16 16:31:00 114 发布于辽宁 分享
分享
 版权
举报
1 条回答
写回答
取消 提交回答
  • 李丽虹

    您用1.5-7b-chat试试。此回答整理自钉钉群“魔搭ModelScope开发者联盟群 ①”

    2024-08-28 11:27:15 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
相关问答
modelscope-funasr的paraformer-streaming微调代码是咋实现流式？
96
0
0
想请问下ModelScope里Vllm部署了qwen1.5-32B之后，它无限输出日志 怎么解决？
213
0
0
modelscope-funasr的online流式实时听写，没有标点符号，需要如何设置？
138
0
0
用Python加gradio参考示例代码制作了调用千问的应用在modelscope上应该怎样运行呢？
65
1
0
请问modelscope上的语音合成模型可以流式输出吗？
73
1
0
.ModelScope从modelhub直接下载的模型需要通过vllm部署的时候需要在什么地方设置？
504
1
0
modelscope-funasr的流式和非流式的区别在哪看？
95
1
0
在modelscope-funasr为什么流式和非流式要分成两个模型呢？
68
0
0
modelscope-funasr流式识别会出现单词连到一块的情况，为什么？
53
0
0
modelscope-funasr的MFCCA这个模型能流式处理语音吗？
39
1
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

热门讨论

热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
  • ModelScope下载速度慢怎么解决？
  • 在魔塔社区-模型服务 里面一键部署的deepseek模型怎么使用？
  • 无法导入 modelscope，已经pip install了
  • modelscope上跑报错，提示要pip install ttsfrd，搞不定
  • com/action/joingroup?code=v1是什么意思
  • ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？
  • ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
    • 展开全部
  • 阿里云通义千问向全社会开放！
  • 通义万相Wan2.1视频模型开源！视频生成模型新标杆，支持中文字效+高质量视频生成
  • 高效部署通义万相Wan2.1：ComfyUI文生/图生视频实战，工作流直取！
  • WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
  • Trae 接入 Claude 3.7：AI 编程工具界的“卷王”，完全免费使用！
  • Qwen2.5-Max：阿里通义千问超大规模 MoE 模型，使用超过20万亿tokens的预训练数据
  • 阿里开源AI视频生成大模型 Wan2.1：14B性能超越Sora、Luma等模型，一键生成复杂运动视频
  • 高效部署通义万相Wan2.1：使用Gradio搭建WebUI体验实战
  • 深度评测 | 仅用3分钟，百炼调用满血版 Deepseek-r1 API，百万Token免费用，简直不要太爽。
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
    • 展开全部
    还有其他疑问?
    咨询AI助理
    AI助理

    你好，我是AI助理

    可以解答问题、推荐解决方案等