ModelScope 模型库产品快速使用

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: ModelScope 的模型库(Model Hub)是共享机器学习模型、demo 演示、数据集和数据指标的地方。可以轻松地创建和管理自己的模型库,利用界面或开发环境来便捷地上传、下载相关模型文件,并从 Model Hub 中获取有用的模型和数据集元数据。

ModelScope 的模型库(Model Hub)是共享机器学习模型、demo 演示、数据集和数据指标的地方。可以轻松地创建和管理自己的模型库,利用界面或开发环境来便捷地上传、下载相关模型文件,并从 Model Hub 中获取有用的模型和数据集元数据。

模型:是指一个具体的模型实例,包括模型网络结构和相应参数。ModelScope 平台提供丰富的模型信息供用户体验与使用。 模型库:是指对模型进行存储、版本管理和相关操作的模型服务,用户上传和共享的模型将存储至 ModelScope 的模型库中,同时用户也可在 Model hub 中创建属于自己的模型存储库,并沿用平台提供的模型库管理功能进行模型管理。

从模型库中下载并使用模型

Model Hub 上的模型后端通过 git 存储并实现版本管理。用户可以下载单个文件或模型相关所有文件。通过一个模型 id,即可通过本地 SDK 从 ModelHub 下载模型,以及加载使用。同时此 ModelScope 的 SDK 对于本地下载的模型文件会自动进行缓存管理。下次您需要相同文件时,它将从您的缓存中加载,无需重新下载。 只需要知道模型 id,以及希望使用的模型版本 (默认为 master),就可以通过一行代码,完成模型寻找,下载,以及加载的工作:

from modelscope.models import Model

model = Model.from_pretrained(self.model_id)

如果希望指定非默认版本,则可以使用:

from modelscope.models import Model

model = Model.from_pretrained(self.model_id, revision='version1.0')

除此之外,如果只是希望下载模型到本地,我们还提供了更加底层的 API 接口 snapshot_download() 。通过这个接口可以直接下载模型,并且可指定下载模型的地址。

from modelscope.hub.snapshot_download import snapshot_download

model_dir = snapshot_download(self.model_id, cache_dir='path/to/local/dir')

有关更多详细信息,请参阅 Model.from_pretrained() 以及 snapshot_download() API 的技术文档。

创建自己的模型库

要创建文件并共享至 ModelScope 社区,您需要拥有 ModelScope 账号。如果您还没有账号,请注册一个新账号以用于向 Model hub 验证您的身份。

image-20220827201111733

您可以使用两种方式创建模型库。

  1. 使用 ModelScope 的 web 页面,通过填写基础信息添加模型。

注册登录后,在头像左侧会出现创建按钮,点击可创建模型或数据集。点击创建模型,进入模型页面填写基础信息实现模型库的创建。

image-20220827201314498

2.1 登录

注:你只需要登录一次,登录态会保持 30 天
from modelscope.hub.api import HubApi

api = HubApi()
api.login(YOUR_ACCESS_TOKEN)

其中 ACCESS_TOKEN 可以通过用账号密码登录网站, 前往【个人中心】->【访问令牌】获取

image-20220827201505012

<h4 id=)2.2 创建模型

api.create_model(
    model_id="damo/cv_unet_image-matting_damo",
    visibility=ModelVisibility.PUBLIC,
    license=Licenses.APACHE_V2,
    chinese_,
)

以上例子中,创建出模型的完整模型 id 为 "damo/cv_unet_image-matting_damo",可以在 Model/Pipeline 种使用。

将文件共享至模型库

同理,也可使用两种方法进行模型文件的添加:

  1. 使用 ModelScope 的 web 页面,上传相关模型文件。

image-20220827201642160

  • 使用 git 或 python SDK 的方式添加模型文件。
相关文章
|
6月前
|
Web App开发 Python
在ModelScope中,你可以使用Python的浏览器自动化库
在ModelScope中,你可以使用Python的浏览器自动化库
69 2
|
6月前
|
自然语言处理
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
158 1
|
6月前
|
API 语音技术
ModelScope-FunASR**有支持热词又支持时间戳的模型**。
【2月更文挑战第30天】ModelScope-FunASR**有支持热词又支持时间戳的模型**。
212 2
|
6月前
|
人工智能 API 决策智能
Modelscope结合α-UMi:基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent,由于模型容量和预训练能力获取的限制,无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
|
6月前
|
人工智能 达摩院 自然语言处理
超好用的开源模型平台,ModelScope阿里达摩院
超好用的开源模型平台,ModelScope阿里达摩院
462 1
|
3月前
|
人工智能 开发框架 物联网
赢万元奖金 | 第七届CCF开源创新大赛ModelScope开源模型应用挑战赛开启报名!
第七届CCF开源创新大赛(后简称“大赛”) 由中国计算机学会(CCF)主办,长沙理工大学、CCF开源发展委员会联合承办。
|
6月前
|
人工智能 自然语言处理 搜索推荐
魔搭ModelScope社区作为一个AI模型开源平台,提供了丰富的模型资源和便捷的服务
【2月更文挑战第9天】魔搭ModelScope社区作为一个AI模型开源平台,提供了丰富的模型资源和便捷的服务
447 3
|
5月前
|
人工智能 开发工具 Swift
ModelScope联手OpenDataLab:直接调用7000+开源数据集,赋能AI模型加速研发
魔搭社区和OpenDatalab浦数合作,共同开启一场模型与数据的深度融合,旨在为中国开发者打造更加高效、开放的AI体验。
|
6月前
|
机器学习/深度学习 人工智能 Swift
PAI x ModelScope: 在PAI使用ModelScope模型
在当前的人工智能领域,特别是大语言模型、文生图等领域,基于预训练模型完成机器学习模型的开发部署已成为重要的应用范式,开发者们依赖于这些先进的开源预训练模型,以简化机器学习应用的开发并加速创新。
|
6月前
|
机器学习/深度学习 测试技术 TensorFlow
ModelScope模型使用与EAS部署调用
本文以魔搭数据的模型为例,演示在DSW实例中如何快速调用模型,然后通过Python SDK将模型部署到阿里云PAI EAS服务,并演示使用EAS SDK实现对服务的快速调用,重点针对官方关于EAS模型上线后示例代码无法正常调通部分进行了补充。
228 2

热门文章

最新文章