微调的模型需要上传到modelscope才能eas部署么?
是的,如果您想使用 ModelScope 的 EAS(Edge AI Serving)功能来部署微调的模型,通常需要先将模型上传到 ModelScope。
EAS 是 ModelScope 提供的一项功能,用于在边缘设备上进行模型推理和部署。为了使用 EAS 部署微调的模型,您需要完成以下步骤:
微调模型并保存权重:使用合适的框架和工具对模型进行微调,并保存微调后的模型权重。这通常涉及训练模型并在验证集上进行评估,然后保存模型的权重文件。
上传模型到 ModelScope:登录到 ModelScope 平台,在您的仪表板或相关页面中找到上传模型的选项。按照指导上传微调后的模型权重文件,并确保成功完成上传操作。
创建 EAS 服务:在 ModelScope 中,创建一个 EAS 服务来部署您的模型。这通常涉及选择模型、配置推理参数,以及选择适当的边缘设备等。
部署模型:根据您的需求和配置,启动 EAS 服务来部署微调的模型。ModelScope 将会为您提供一个部署链接和相应的 API 端点,以便您通过其进行模型推理和服务调用。
可以是private非公开模型,只有你自己能访问。modeslcope没有收费体系。可以上传到modelscope部署(可以设为私有模型,部署时填写ACCESS_TOKEN),也可以上传到oss或nas,部署时挂载,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
微调的模型不一定需要上传到ModelScope才能进行EAS部署。您可以将微调后的模型部署到阿里云的EAS,具体来说,只需配置几个参数就可以将社区模型一键快捷地部署到EAS模型在线服务平台。同时,ModelScope作为阿里巴巴打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,确实可以让模型应用更简单。然而,这并不意味着只有通过ModelScope才能进行EAS部署。总的来说,是否使用ModelScope进行部署主要取决于您的具体需求和场景。