使用最新的ms-swift框架对Deepseek-R1-distill-7B进行微调,对微调出来的模型进行deploy ckpt_dir是可以正常问答的,而在进行swift export该checkpoint后(merge_lora true),再对合并后的结果进行deploy --model部署后,就无法正常回答了,一个问题要等很久才会出来一堆感叹号?为什么?是哪里需要特殊参数吗?
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352