魔搭中文开源模型社区:模型即服务-魔搭・平台工程框架介绍(中)

简介: 魔搭中文开源模型社区:模型即服务-

二、 用户体验

 

image.png 

 

如上图所示,推理在深度学习中,表示模型的预测过程。一般来说,推理会使用pipeline(串行管道过程)来执行所需要的操作。一个完整的pipeline一般包括了数据的前处理、模型的前向推理、数据的后处理三个过程。

 

pipeline()方法是ModelScope框架上最基础的用户方法之一,可对多种领域的多种模型进行快速推理。通过pipeline()方法,用户可以只需要一行代码即可完成对特定任务的模型推理。

 

image.png

 

如上图所示,所有模型都有一个快速开始页面,用户可以看到每个模型是如何调用实现的。

 

image.png 

 

如上图所示,用户只需要两行代码,就能在服务器后端拉起模型,把模型加载到本地并运行。不同模态的模型都可以通过修改两行参数,直接获取。

 

image.png

 

目前,平台的三百多个模型都可以通过两行代码中的两个参数实现拉取。如果用户需要把模型部署到自己的云端,让云端服务进行推理。用户可以通过SDK直接实现。

 

image.png

 

如上图所示,用户基于ModelScope中文gpt3底座二次开发得到诗词生成模型代码,通过使用原始基础模型进行推理。

 

image.png

 

对于模型来说,如果开发者有开发能力,ModelScope社区支持SDK进行微调。开发者可以根据自己的业务场景,目标数据集进行模型微调。

 

image.png

 

在网页端,每个模型都有Notebook链接,用户可以直接进入云端的Notebook平台。用户不需要任何安装或环境配置,可以直接复制模型页面的代码,点击运行即可。与此同时,ModelScope社区提供了免费CPU以及GPU算力供大家使用。

 

image.png

 

在本地部署方面,ModelScope的本地环境配置相对简单。用户只需通过ModelScope安装包,就可以运行模型。

 

image.png

 

为了方便开发者贡献自己的模型,贡献者只需要提供Configuratiorn、Model Flles/Checkpoints即可。

 

image.png

 

与此同时,ModelScope社区提供了分层API,开发者可以通过组件化的方式,将模型、预处理组件、后处理组件分开,方便用户组装。

 

image.png

 

在模型微调以及训练方面,ModelScope社区支持用户High-level API接入。接口为train()+evaluate()。High-level API的代码复用度较低,开发者负责实现绝大多数流程代码,且已有模型代码接入成本较低。

 

ModelScope社区为用户提供了实现training loop的模块抽象,支持串联data set,模型forward,backward,梯度更新等流程。

 

开发者只需提供模型类,预处理,Metrics,评估指标定制即可。ModelScope社区提供hook机制,保障training流程(按需)定制化,从而提高代码的复用度。

 

image.png

 

在数据集方面,支持开发者读取本地,云上(OSSetc.)以及web数据,开发者可以对接Model Scope Dataset-hub。

 

ModelScope社区保持对多种数据源(hub)开放,开发者可以直接获取tf,torch等框架原生数据格式,对分布式训练/finetune有更完善的支持。

 


 

相关文章
|
存储 监控 安全
fastDfs服务器部署使用
强大的文件管理服务器fastDFS
fastDfs服务器部署使用
|
人工智能 Rust 开发者
【MCP教程系列】使用Python在阿里云百炼创建基于UVX的MCP服务完整指南
本文介绍如何使用基于uvx工具链的Python项目,结合阿里云百炼平台实现小红书文案审核助手的MCP服务开发与部署。首先通过安装uv工具初始化项目并配置虚拟环境,编写server.py文件调用qwen-plus模型完成内容审核功能。随后将项目打包上传至PyPI,供全球开发者访问。接着在阿里云百炼平台上配置并部署该MCP服务,解决可能的依赖问题。最后,在智能体应用中引入此MCP服务进行测试验证,确保其正常运行。
4637 0
|
人工智能 分布式计算 DataWorks
阿里云大数据AI产品月刊-2025年8月
阿里云大数据& AI 产品技术月刊【2025年 8 月】,涵盖 8 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
845 2
|
人工智能 自然语言处理 PyTorch
InspireMusic:阿里通义实验室开源的音乐生成模型,支持文本或音频生成多种风格的音乐
阿里通义实验室开源的音乐生成技术,支持通过简单描述快速生成多种风格的高质量音乐作品。
3150 4
|
前端开发 UED 开发者
有趣的CSS - 文字加载动画效果
这个文本加载动画简单而有趣,可以在网站标题、广告标语或者关键信息的展示上吸引用户的注意力。开发者可以根据需要调整动画的持续时间、步骤数,或者光标颜色等,来适应特定的设计需求。使用这种动态元素,增强网站的互动性和用户体验,同时也为网站增添了一抹活泼的风格。
745 5
|
人工智能 JavaScript API
suno-api
suno-api
1553 1
|
人工智能 Cloud Native 架构师
|
人工智能 运维 Cloud Native
智库观察|企业全生命周期数字化路径追探
数智化不仅仅是技术,它还为企业进行组织、生产、贸易和创新提供了新的途径,驱动企业生产方式、组织架构和商业模式发生深刻变革。企业正在经历一次全生命周期的数智跃迁。
1219 0
智库观察|企业全生命周期数字化路径追探
|
存储 SQL Cloud Native
科技雷达|云原生数据库是大势所趋
破坏性创新往往不会发生在原有巨头身上,而是由行业大势挟裹新的入局者,谱写新的故事篇章。每一次技术革命都蔚为壮观,内燃机取代蒸汽机,汽车取代马车,现在轮到云数据库取代传统数据库。
497 0
科技雷达|云原生数据库是大势所趋
|
人工智能 运维 自然语言处理
复盘|“云”加持下,北大英华加速法律人工智能
前沿科技应用于专业性极强的法律行业,人工智能技术如何帮助检索浩瀚如烟的卷宗、起草基本的法律文书和商业合同、对诉讼案件风险进行预测等等,不但能将法律从业者从重复性的工作中解放出来,更能促进“类案同判”带来的法律适用统一性和稳定性,加快实现司法公正。 北大英华与阿里云从2019年开始合作,从在云上布置应用到人工智能、大数据等产品的使用,合作逐步深入,也见证着中国法律数字化建设的发展。
904 0
复盘|“云”加持下,北大英华加速法律人工智能

热门文章

最新文章