魔搭中文开源模型社区:模型即服务-魔搭社区产品生态介绍(中)

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 魔搭中文开源模型社区:模型即服务-

二、 模型即服务(MaaS)平台-魔搭ModelScope

 

image.png

 

为了解决上述问题,阿里云推出了“Model-as-a-Service”概念,又名“模型即服务”。阿里云希望所有的AI模型从业者,能够零门槛的体验模型,推理模型,为大家提供完整的模型定制链路和方便快捷的模型部署方案。

 

如上图所示,是ModelScope模型开源社区的基本架构。达摩院不但贡献了自己的大模型平台和SOTA模型矩阵,而且邀请国内优秀的AI研究机构和公司,将模型贡献到社区。通过大家的共同努力,一起构建ModelScope模型开源社区。

 

ModelScope平台为大家提供了一站式的模型服务。大家可以在模型的管理下载、训练、推理等各个环节,快速定制模型,自动化进行云部署。用户只需要提供少量的数据和算力,就能快速定制模型应用到实际生产。

 

image.png

 

其中,模型开发者可以在模型的探索阶段使用多维度,多标签来检索模型,在线体验模型。

 

在环境安装环节,开发者在本地环境部署时,可以快速安装,云端的Notebook免安装。当开发者进行模型的推理验证时,一行代码就能实现推理,并且支持三种模型下载渠道,即Library、python SDK以及Git。

 

在模型的训练调优环节,开发者可以基于预训练模型的调优链接,澎湃算力实现版本可视化的测评。在大量数据预训练好的模型基础上进行微调,是当前AI模型开发的主流模式,这种模式大大降低了AI模型开发的门槛。

 

ModelScope提供了各个领域、不同场景上的丰富的预训练模型。通过简单易用的调用接口,统一的配置文件设计,使得用户仅仅使用十几行python代码,就可以运行一个fine tune任务。

 

在模型部署调用环节,ModelScope社区为开发者提供了多种部署方式,成本更低、更灵活。开发者可以在云端部署、本地化部署、或者设备端进行部署。

 

image.png

 

ModelScope社区不但为模型的开发者提供了一站式的模型服务,还为社区的贡献者提供了灵活便利的生产服务。

 

社区的贡献者可以使用ModelScope进行模型版本管理与代码托管。在数据集的管理方面,贡献者可以使用Data hub进行数据集版本管理与血缘管理。目前,数据预处理,数据分割等常用的数据工具,正在逐步上线中。

 

除此之外,社区的贡献者可以自定义组织并管理成员,能够多人协同管理模型与数据集。

 

在ModelScope社区的“创空间”模块,社区的贡献者能够创建专属的AI应用,展示自己的创意想法,沉淀个人或组织的资产。

 

创空间支持贡献者更灵活地构建专属的AI Web/App,打造更具创意的模型应用,让用户直观体验模型效果与创意想法。用户可直接关联模型,针对复杂场景进行自主模型编排和应用开发,从而形成个人及组织的创意资产。

 

与此同时,模型贡献者可以直接在模型页面查看用户的评价反馈,帮助贡献者了解用户需求。贡献者也可直接回复用户进行反馈,与用户产生深度互动交流。

 

image.png

 

接下来,介绍一下简单易用的Library集成库。首先,Library集成库覆盖NLP、CV、Audio等多领域的具有竞争力的SOTA模型,更有行业领先的多模态大模型,现已全部免费开放,支持用户下载使用。

 

其次,Library集成库提供简单易用的python SDK,轻量化集成开发,支持用户快速集成。一行代码即可实现模型推理,十几行代码即可实现对预训练模型的调优训练。目前,Library集成库兼容主流深度学习框架(Pytorch、Tensorflow等)。

 

Library集成库集成了在线Notebook开发环境,免除了环境安装烦恼。通过连接澎湃算力与免费资源支持,让用户可以轻松开发,实时保存。

 

image.png

 

接下来,介绍一下ModelScope模型库。目前,ModelScope社区提供了超过200个行业的预训练SOTA模型。其中60多种模型支持调优训练,让社区模型接入更简单。

 

与此同时,ModelScope社区的在线DEMO支持可视化在线体验,让用户轻松测试,让模型体验更简单。目前,业内SOTA大模型中文复刻版本和达摩院自研大模型已经全面开源,支持用户免费体验。语音合成、文本摘要、图片描述、图像卡通化等百余种模型支持用户在线体验。

 

image.png

 

目前,标签管理已经覆盖ModelScope社区的全领域,多任务。帮助用户多标签管理,精准定位。在数据预处理方面,ModelScope社区提供多种数据传输与预处理方式,实现模型的无缝对接。

 

ModelScope社区帮助用户进行简单灵活的数据版本管理与血缘管理,轻松托管代码与文件,支持一键关联模型库。让用户快速链接notebook开发环境,一键导入代码,0门槛把玩模型!

 

相关文章
|
1月前
|
数据可视化 物联网 Swift
谷歌发布开源LLM Gemma,魔搭社区评测+最佳实践教程来啦!
Gemma是由Google推出的一系列轻量级、先进的开源模型,他们是基于 Google Gemini 模型的研究和技术而构建。
|
1月前
|
人工智能 自然语言处理 机器人
Jina AI 发布中英和英德双语 8K 向量模型,魔搭社区开源最佳实践!
在 Jina Embeddings 英语向量模型突破百万下载后,今天,Jina AI正式开源了两款双语向量模型:中英双语(Chinese-English)和英德双语(English-German)向量模型,这也是全球首次推出支持 8K 双语文本的开源向量模型。
|
1月前
|
数据采集 机器学习/深度学习 人工智能
阿里云魔搭社区发起ModelScope-Sora开源计划
阿里云魔搭社区在2024全球开发者先锋大会上启动ModelScope-Sora开源计划,聚焦中国多模态大模型研究,推出一站式工具链和Data-Juicer多模态数据处理系统,提升处理效率与质量。该计划还包括基础类Sora模型开源及沙盒实验室,以支持开发者迭代与训练。面对数据质量、安全、商业平衡及算力挑战,魔搭社区致力于推动AI创新,已汇聚众多模型与开发者。
883 1
阿里云魔搭社区发起ModelScope-Sora开源计划
|
1月前
|
人工智能 文字识别 物联网
新一代端侧模型,面壁 MiniCPM 2.0开源,魔搭社区最佳实践
MiniCPM-V 2.0 不仅带来优秀端侧多模态通用能力,更带来惊艳的 OCR 表现。通过自研的高清图像解码技术,可以突破传统困境,让更为精准地识别充满纷繁细节的街景、长图在端侧成为可能。
|
机器学习/深度学习 API 开发工具
|
9月前
|
人工智能 异构计算 Python
智谱AI数学课代表MathGLM魔搭首发,社区体验推理教程来啦!
GLM家族又发布了一个新成员 数学模型 MathGLM ,以提升大语言模型的数学推理能力。它可以在不使用计算器工具的情况下,高效执行复杂算术运算,解答中文数学应用题,已经在魔搭社区全球首发开源啦!
|
8月前
|
SQL 人工智能 JSON
社区供稿 l ChatGLM金融开源FinGLM学习笔记
日前,由中国中文信息学会社会媒体处理专委会主办,智谱 AI、安硕信息、阿里云、魔搭社区、北京交通大学联合承办的「SMP 2023 ChatGLM 金融大模型挑战赛」落下帷幕,该赛事旨在推动大模型在金融垂直行业应用的研究和开发,沉淀大模型落地实践经验。赛后,赛事方第一时间开源开放了赛事相关的代码,目前也开始有开发者小伙伴基于此整理了一些干货笔记,小编特搜罗来向大家分享,希望能给正在关注大模型行业落地的小伙伴们一些帮助。
|
11月前
|
弹性计算 数据可视化 物联网
百川13B模型发布及魔搭最佳实践
百川13B模型发布及魔搭最佳实践
|
人工智能 达摩院 API
|
存储 弹性计算 Cloud Native
魔搭中文开源模型社区:模型即服务-魔搭・平台工程框架介绍(下)
魔搭中文开源模型社区:模型即服务-魔搭・平台工程框架介绍
808 1