ModelScope中agent 为啥不返回函数调用呢？
ModelScope中agent 为啥不返回函数调用呢？
这个结果不太符合预期，
训练的sh脚本
template为
现在有完整的Agent 训练和推理的文档吗？
展开
收起
1
条回答
写回答
-
参考这个：
https://github.com/modelscope/swift/blob/main/docs/source/LLM/Agent%E5%BE%AE%E8%B0%83%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.md
。我这边找我们这边的开发人员看了一下，如果您的训练数据集以及训练方式没有问题的话，应该是您这边训练的模型在agent的框架上需要适配，所以如果您想本地部署agent服务，可以用我们的本地部署方案部署一下试试，方案里面会对您的模型进行一定程度上的适配，部署后看看结果是否满足您的预期
您可以使用下面的命令来启动服务试试
python -m vllm.entrypoints.openai.api_server --model 您的模型路径 --dtype=half --max-model-len 8192 --gpu-memory-utilization 0.95。
https://github.com/modelscope/modelscope-agent/blob/master/docs/local_deploy.md
建议您先用这个流程部署一下，看看部署后的结果是否满足您的需要。此回答来自钉群魔搭ModelScope开发者联盟群 ①。2024-03-05 16:41:35赞同 2 展开评论
相关问答
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
相关文章
热门讨论
热门文章
展开全部
展开全部
还有其他疑问?
咨询AI助理