ModelScope中,训练部分也能独立部署吧?

ModelScope中,训练部分也能独立部署吧?

展开
收起
小小爱吃香菜 2024-03-26 21:24:58 69 分享 版权
2 条回答
写回答
取消 提交回答
  • 阿里云大降价~

    ModelScope中,训练部分可以独立部署

    在ModelScope中,模型训练是一个核心环节,它包括使用MsDataset加载数据集、编写cfg_modify_fn方法来修改部分参数、构造trier开始训练等步骤。训练完成后,通常会进行模型评估,以确保训练出的模型达到预期的性能标准。

    ModelScope提供了一站式服务,不仅包括模型的探索体验和推理,还包括训练、部署和应用。这意味着用户不仅可以在平台上训练模型,还可以将其部署为服务。部署指南中提到,经过训练的模型可以使用各种开源推理框架进行部署,例如SWIFT框架可以对接开源推理框架进行部署。此外,ModelScope汇聚了各领域最先进的机器学习模型,为用户提供了丰富的选择和便利的操作体验。

    总的来说,如果您希望在ModelScope中独立部署训练部分,您需要遵循平台的部署指南和流程,确保您的模型已经过适当的训练和评估,并且与您选择的推理框架兼容。

    2024-03-27 08:50:03
    赞同 展开评论
  • vllm加速的话,需要merge lora。pt部署可以不合并。https://github.com/modelscope/swift/blob/main/docs/source/LLM/VLLM%E6%8E%A8%E7%90%86%E5%8A%A0%E9%80%9F%E4%B8%8E%E9%83%A8%E7%BD%B2.md 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-03-26 21:59:58
    赞同 展开评论

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

还有其他疑问?
咨询AI助理