ModelScope实际推理只输出了4500个字符就结束了，也没有报错，怎么解决？
假设推理成功时可能要输出5000个字符串，ModelScope实际推理只输出了4500个字符就结束了，也没有报错，怎么解决？ 用的也是vllm。 I don't know when the official can release the fine-tuning example document for the "Qwen2" series models. I hope the document can include information on how to build your own fine-tuning dataset.
写回答
-
"换成qwen2即可，参考以下链接
https://github.com/modelscope/swift/blob/main/docs/source/LLM/Qwen1.5%E5%85%A8%E6%B5%81%E7%A8%8B%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.mdmodel type， 参考以下链接
https://github.com/modelscope/swift/blob/main/docs/source/LLM/%E6%94%AF%E6%8C%81%E7%9A%84%E6%A8%A1%E5%9E%8B%E5%92%8C%E6%95%B0%E6%8D%AE%E9%9B%86.md自定义数据集格式，参考以下链接
https://github.com/modelscope/swift/blob/main/docs/source/LLM/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%B8%8E%E6%8B%93%E5%B1%95.md
此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"2024-07-30 19:05:30赞同 3 展开评论 打赏
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
