在 ModelScope 中,可以通过以下步骤在 Ubuntu 上进行模型部署:
安装 Docker:ModelScope 使用 Docker 容器来部署和运行模型。您可以按照 Docker 官方文档上的说明,在 Ubuntu 上安装 Docker。
下载 ModelScope:从 ModelScope 的 GitHub 存储库上下载最新的代码。您可以使用 git 命令克隆存储库,或者直接下载压缩包并解压缩到本地。
构建镜像:使用终端进入 ModelScope 代码的根目录,并通过以下命令构建 ModelScope 镜像:
docker build -t modelscope .
运行容器:使用以下命令在 Ubuntu 上启动 ModelScope 容器:
docker run -it -p 8000:8000 modelscope
上述命令会将容器的端口 8000 映射到宿主机的端口 8000,以便能够通过 localhost 访问 ModelScope 的 Web 界面。
打开 ModelScope:在浏览器中访问 http://localhost:8000
,即可打开 ModelScope 的 Web 界面。您可以通过该界面来加载并管理您的模型、进行推理等操作。
ModelScope旨在打造下一代开源的模型即服务共享平台,为广泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,使模型应用变的更简单。
对于部署到EAS的Modelscope模型社区中的模型,可以分为普通模型和大语言对话模型,由于加载和使用方式的不同,两种模型的部署和调用方式稍有区别,详情请参见:
普通模型
大语言对话模型
普通模型
Modelscope社区中的大部分模型都可以通过Pipeline定义和调用,这些模型即为普通模型。使用普通模型的通用操作流程如下:
步骤一:选择模型
在官方库中选择要部署的模型,本文以机器翻译模型为例