魔搭中文开源模型社区:模型即服务-魔搭・平台工程框架介绍(中)

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 魔搭中文开源模型社区:模型即服务-

二、 用户体验

 

image.png 

 

如上图所示,推理在深度学习中,表示模型的预测过程。一般来说,推理会使用pipeline(串行管道过程)来执行所需要的操作。一个完整的pipeline一般包括了数据的前处理、模型的前向推理、数据的后处理三个过程。

 

pipeline()方法是ModelScope框架上最基础的用户方法之一,可对多种领域的多种模型进行快速推理。通过pipeline()方法,用户可以只需要一行代码即可完成对特定任务的模型推理。

 

image.png

 

如上图所示,所有模型都有一个快速开始页面,用户可以看到每个模型是如何调用实现的。

 

image.png 

 

如上图所示,用户只需要两行代码,就能在服务器后端拉起模型,把模型加载到本地并运行。不同模态的模型都可以通过修改两行参数,直接获取。

 

image.png

 

目前,平台的三百多个模型都可以通过两行代码中的两个参数实现拉取。如果用户需要把模型部署到自己的云端,让云端服务进行推理。用户可以通过SDK直接实现。

 

image.png

 

如上图所示,用户基于ModelScope中文gpt3底座二次开发得到诗词生成模型代码,通过使用原始基础模型进行推理。

 

image.png

 

对于模型来说,如果开发者有开发能力,ModelScope社区支持SDK进行微调。开发者可以根据自己的业务场景,目标数据集进行模型微调。

 

image.png

 

在网页端,每个模型都有Notebook链接,用户可以直接进入云端的Notebook平台。用户不需要任何安装或环境配置,可以直接复制模型页面的代码,点击运行即可。与此同时,ModelScope社区提供了免费CPU以及GPU算力供大家使用。

 

image.png

 

在本地部署方面,ModelScope的本地环境配置相对简单。用户只需通过ModelScope安装包,就可以运行模型。

 

image.png

 

为了方便开发者贡献自己的模型,贡献者只需要提供Configuratiorn、Model Flles/Checkpoints即可。

 

image.png

 

与此同时,ModelScope社区提供了分层API,开发者可以通过组件化的方式,将模型、预处理组件、后处理组件分开,方便用户组装。

 

image.png

 

在模型微调以及训练方面,ModelScope社区支持用户High-level API接入。接口为train()+evaluate()。High-level API的代码复用度较低,开发者负责实现绝大多数流程代码,且已有模型代码接入成本较低。

 

ModelScope社区为用户提供了实现training loop的模块抽象,支持串联data set模型forwardbackward梯度更新等流程。

 

开发者只需提供模型类,预处理,Metrics评估指标定制即可。ModelScope社区提供hook机制,保障training流程按需定制化,从而提高代码的复用度。

 

image.png

 

在数据集方面,支持开发者读取本地,云上OSSetc.以及web数据,开发者可以对接Model Scope Dataset-hub。

 

ModelScope社区保持对多种数据源(hub)开放,开发者可以直接获取tftorch等框架原生数据格式,对分布式训练/finetune有更完善的支持。

 


 

相关文章
|
7月前
|
数据可视化 物联网 Swift
谷歌发布开源LLM Gemma,魔搭社区评测+最佳实践教程来啦!
Gemma是由Google推出的一系列轻量级、先进的开源模型,他们是基于 Google Gemini 模型的研究和技术而构建。
|
7月前
|
人工智能 自然语言处理 机器人
Jina AI 发布中英和英德双语 8K 向量模型,魔搭社区开源最佳实践!
在 Jina Embeddings 英语向量模型突破百万下载后,今天,Jina AI正式开源了两款双语向量模型:中英双语(Chinese-English)和英德双语(English-German)向量模型,这也是全球首次推出支持 8K 双语文本的开源向量模型。
|
人工智能 监控 Swift
魔搭社区LLM模型部署实践 —— 以ChatGLM3为例
本文将以ChatGLM3-6B为例,介绍在魔搭社区如何部署LLM
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
【热门开源项目】阿里开源巨擘:Qwen-2 72B深度解析与推荐
在人工智能的浪潮中,开源模型如同璀璨的星辰,指引着开发者们探索未知的领域。而今天,我们将聚焦在阿里云推出的开源模型Qwen-2 72B上,从其项目介绍、技术特点、代码解析等多个角度,深入解析并推荐这一卓越的开源项目。
204 1
|
5月前
|
人工智能 JSON 文字识别
开源VLM新标杆 InternVL 2.0 怎么用?部署、微调尽在魔搭社区!
7月4日下午,世界人工智能大会科学前沿论坛,上海人工智能实验室OpenGVLab发布了InternVL 2.0 版本,中文名书生·万象。
|
5月前
|
数据可视化 物联网 Swift
谷歌开源Gemma2!魔搭社区推理、微调最佳实践教程
Google面向全球研究人员和开发者发布并开源 Gemma 2 大语言模型!本次Gemma 2 系列为轻量级开放模型,提供9B和27B参数两种尺寸,采用全新的架构设计,性能表现优异。
|
7月前
|
人工智能 知识图谱 Windows
Mistral 7B v0.2 基础模型开源,魔搭社区微调教程和评测来啦!
Mistral AI在3月24日突然发布并开源了 Mistral 7B v0.2模型,有如下几个特点
|
7月前
|
物联网 语音技术 Swift
魔搭社区LLM模型部署实践, 以ChatGLM3为例(二)
魔搭社区LLM模型部署实践, 以ChatGLM3为例(二)
389 0
|
7月前
|
人工智能 监控 Serverless
魔搭社区LLM模型部署实践, 以ChatGLM3为例(一)
魔搭社区LLM模型部署实践, 以ChatGLM3为例(一)
372 0
|
数据可视化 PyTorch 云栖大会
IDEA研究院Ziya2-13B首发魔搭社区(含社区推理微调最佳实践教程)
10月16日,IDEA研究院(粤港澳大湾区数字经济研究院)CCNL封神榜团队开源中文基座模型Ziya2-13B-Base及其对话模型Ziya2-13B-Chat,两款模型均完全免费、可商用,已在魔搭社区首发上架。

热门文章

最新文章