飞天技术观|ModelScope:共建模型生态,以模型自由加速AI应用创新

简介: 基于「模型即服务」,即MaaS(ModelasaService)的理念,ModelScope通过不断降低模型应用门槛,让AI更普惠,帮助开发者在ModelScope上能够低成本、高效地使用模型,并建立起良好的模型生态和开发者生态。

云栖战略参考 2023版头_副本.png

《云栖战略参考》由阿里云与钛媒体联合策划,呈现云计算与人工智能领域的最新技术战略观点与业务实践探索,希望这些内容能让您有所启发。

本文根据魔搭社区(ModelScope)运营负责人石洪竺(花名:垚姗)的访谈整理


阿里云早期就已着手布局完整的人工智能技术体系,这从2014年人工智能平台PAIPlatform of AI)的诞生到2017年开始对外提供服务可见一斑。

 

2017Transformer架构发布后,阿里云开始专注于大模型领域的研究,在预训练模型(Pre-trained Models)阶段进行长期布局,并取得了一些重要成果,其中包括:2018年,阿里巴巴自研深度语言模型StructBert以平均分90.6分在自然语言处理领域权威数据集GLUE Benchmark中位居第一,显著超越人类水平(87.1分);2019年,发布首个中文领域的超大规模多模态预训练模型M62021年,PLUG80.614的分数刷新中文语言理解评测基准CLUE的历史记录,以及AliceMindVQA上以81.26%的准确率创造全球记录。

 

2022年世界人工智能大会上,阿里云发布了通义大模型系列。当时,整个通义系列包括了CVNOP、语音等模型,它们都是基于通用多模态模型OFAOne For All)而构建,首次实现了架构、模态、任务的统一。

 

202211月,阿里云重磅推出ModelScope(魔搭社区)。当时尚未出现如今所谓的大语言模型,但阿里云已率先将通义系列模型全方位地开源到ModelScope上,同时支撑使用如蛋白质折叠模型、姜子牙系列模型等外部模型。

image.png

 

ModelScope,让AI更普惠

 

AI更普惠ModelScope的核心宗旨,旨在让更多的模型被看见、被更多开发者使用,希望以技术影响力吸引和聚集更多AI开发者来到ModelScope,在阿里云的大模型生态中逐渐成长。

 

ModelScope上,开发者的需求是使用模型而不是训练模型。模型的训练会由ModelScope上的专业人员负责,并通过工程化能力不断降低使用成本。通过开发LibrarySDKSwift等各种框架,让开发者只需一行代码就能高效、低成本地部署整个模型。

 

目前,在ModelScope上有超过230万活跃开发者,他们在Python环境中下载和使用模型,而不仅仅是在创空间体验模型效果。此前,ModelScope只有部分模型支持Fine-tune(微调),但在上线了整套框架之后,由于降低了开发者使用模型的门槛,开发者数量增加了690%。也只有当开发者生态建立起来后,才能推动应用生态的发展。

image.png

 

在近一年时间里,ModelScope总共聚集了超过1200个模型,其中包括50多个大语言模型,以及CVNOP、语音、多模态等相对较小的模型。之所以有越来越多的模型选择在ModelScope上发布,其核心原因在于ModelScope提供了一整套完整的部署、推理和Fine-tune链路。

 

由于ModelScope具备一套相对通用、可跟网络模型做对接的框架,新模型在ModelScope发布后,仅需大约两个小时即可完成模型网络架构的对接。此外,ModelScope还提供了一整套微调框架,在社区贡献者的模型上线后,官方会提供有关InfluenceFine-tune的教程。不仅如此,ModelScope还有一套完善的Swift框架,包括全量调参和半精度调参,当LLaMA2加入ModelScope后,24小时内即可完成微调,并整理出最佳路径和调参的Cookbook

 

此外,社区里的大小模型都能在ModelScope上获得正反馈。所谓正反馈,指的是开发者可以基于这些基础模型去做相应的Fine-tune并进行部署,从而被更多人使用。

 

ModelScope与模型机构在理念上非常一致,都希望模型在形成生态的同时能被更多开发者使用。为保障这一理念价值的实现,阿里云投入了大量算法团队和工程团队等资源,以确保开发者能够顺畅地使用模型,并确保社区模型贡献者的模型能够在ModelScope上被广泛使用。

 

综上可知,模型生态和开发者生态,正是ModelScope为社区模型贡献者和开发者带来的价值所在。

 

ModelScope&DashScope,模型的一体两面

 

ModelScope是一个开源技术社区,从其立场来看,它并不承担营收的使命。DashScope可以看作是ModelScope孪生兄弟,它们有着相同的底层架构。两者的区别在于,ModelScope上的许多开发者是基于模型的checkpoint进行Fine-tune,而DashScope更多地为模型提供商(如百川智能、智谱AIStability.AI等)提供服务,通过API的方式向下游厂商提供Fine-tuneInfluence链路服务。

 

ModelScopeDashScope是模型的一体两面,都是MaaSModel as a Service)的一部分。相对较小的小模型走开源路线,相对较大的大模型则走商业路线。例如,智谱AIChatGLM-6B模型就在ModelScope上进行了开源,并且已经形成了一定的用户规模和影响力。未来,它的13B50B130B模型将通过DashScope进行商业化落地。无独有偶,阿里云的通义千问也是同样的情况,Qwen-7B模型是开源的,而Qwen-50B模型未来可能会通过DashScope去做API模式的商业化。

 

开源和闭源,是基于用户对模型尺寸的需求或基于自身业务场景中对模型需求的不同选择,两者各有优势且存在即合理。

 

闭源方面,OpenAI是一个非常好的例子。由于OpenAI拥有足够强的技术壁垒,使其在商业模式上取得成功。闭源有许多优势,例如在Pre-train阶段,尤其是在训练模型阶段,拥有大量的Know-how,并且在定制行业专属大模型时,甚至会结合本地知识库和行业内Know-how,从而形成自身模型的技术优势和壁垒。而LLaMA2的出现,却让社会看到了共同努力建立模型生态系统的可能性,从ModelScope社区就可以看到开发者力量的强大和活跃,以及开源能更好地增加模型的丰富性。因此,开源也是模型发展的另一条路径。

 

Agent,大模型时代的Apple Store

 

在大模型时代,预训练大模型的阶段可能已经成为过去,L4阶段可能是应用生态的崛起阶段,也就是Agent生态的阶段。Agent可以被理解为具备自主理解、规划和执行复杂任务能力的系统。

 

今天讲到的大模型,其本质上是三项技术的持续发展与融合。第一是计算密集型技术,当下的算力能力基于云计算而大大增加;第二是数据驱动,数据变得更触手可得;第三是模型的方法论被统一了。ChatGPT实际上是由ChatGPT两部分组成,GPT是方法论,Chat是应用。ChatGPT的突破之处在于将方法和应用连接在一起,并且满足了今天的需求。

 

Agent将有望成为AI时代类似于Apple Store的一个平台。基于千万开发者和开发者们所创造的创新应用,Agent可以通过模型来调用各种应用。

 

未来也会是一个大小模型协同的时代。所谓的大小模型协同,就是以大语言模型为控制器,通过大模型的CoTChain-of-thought,思维链)能力,将任务进行拆解,并调用其他模型进行任务处理。可以将大语言模型视为一个大脑,它需要与手、脚等其他模型进行协同。Agent将有望把大脑和四肢的能力整体协同起来。甚至,未来个人开发者可以将自己的应用封装为API,通过Function Call的方式实现其应用API的调用。

 

例如,ModelScope上有一款名为ModelScopeGPT的智能工具,可以接收用户指令,通过中枢模型一键调用魔搭社区的其他AI模型,实现大小模型协同完成复杂任务。

 

当下,AgentModelScope正处于探索阶段,希望未来能有更多的开发者带着他们优秀的应用加入进来,并通过大小模型协同框架来进一步建立Agent生态。

 

除了大小模型协同以外,未来还将会有大模型与大模型之间的协同。例如,一款名为《Knights of West》(西部世界)的国外游戏,便采用了AI控制NPC,并且每个NPC都拥有自己的意识,甚至能够自主行动。这彻底将著名电影《西部世界》中机器人拥有自我意识和自主意识的设定引入了游戏。在这个游戏场景中,每个模型都可以定义人设,比如模型A是杠精,模型B是有威望的村支书等等。未来,其实将会是不同大模型之间的协同。

 

目前,ModelScope正在探索大模型与大模型、大模型与小模型之间的高度和有机协同,从而形成一个完整的Agent智能体。

 

结语

 

ModelScope期待国内外所有优秀的、开源的模型加入,共同怀揣技术驱动商业和社会的理念,将技术的作用发挥到极致,合力为开发者提供优质服务。

 

通过培养和构建良好的模型生态,ModelScope让开发者真正能够根据自己的需求选择适合的模型,并在这些模型上开发出优秀的应用,进一步更好地服务终端用户。同时,开发者和创新创业企业能尽可能地借助ModelScope所提供的灵活便捷、低成本、高效的模型优势,加速实现创业的成功。

本文摘自《云栖战略参考》2023年10月刊

扫码限时申领纸质版

↓↓

公众号外宣1080x1920.jpg

目录
相关文章
|
3天前
|
机器学习/深度学习 人工智能 并行计算
"震撼!CLIP模型:OpenAI的跨模态奇迹,让图像与文字共舞,解锁AI理解新纪元!"
【10月更文挑战第14天】CLIP是由OpenAI在2021年推出的一种图像和文本联合表示学习模型,通过对比学习方法预训练,能有效理解图像与文本的关系。该模型由图像编码器和文本编码器组成,分别处理图像和文本数据,通过共享向量空间实现信息融合。CLIP利用大规模图像-文本对数据集进行训练,能够实现zero-shot图像分类、文本-图像检索等多种任务,展现出强大的跨模态理解能力。
16 2
|
4天前
|
人工智能 自然语言处理
从迷茫到精通:揭秘模型微调如何助你轻松驾驭AI新热点,解锁预训练模型的无限潜能!
【10月更文挑战第13天】本文通过简单的问题解答形式,结合示例代码,详细介绍了模型微调的全流程。从选择预训练模型、准备新任务数据集、设置微调参数,到进行微调训练和评估调优,帮助读者全面理解模型微调的技术细节和应用场景。
23 6
|
1天前
|
机器学习/深度学习 人工智能 算法
介绍一下AI在药物研发中的应用。
【10月更文挑战第16天】介绍一下AI在药物研发中的应用。
7 0
|
2天前
|
机器学习/深度学习 数据采集 人工智能
智能化运维:AI在IT运维中的应用探索###
随着信息技术的飞速发展,传统的IT运维模式正面临着前所未有的挑战。本文旨在探讨人工智能(AI)技术如何赋能IT运维,通过智能化手段提升运维效率、降低故障率,并为企业带来更加稳定高效的服务体验。我们将从AI运维的概念入手,深入分析其在故障预测、异常检测、自动化处理等方面的应用实践,以及面临的挑战与未来发展趋势。 ###
|
3天前
|
机器学习/深度学习 人工智能 搜索推荐
AI在医疗领域的革命性应用
【10月更文挑战第14天】 本文探讨了人工智能(AI)在医疗行业中的多种应用,包括疾病诊断、个性化治疗、药物研发等。通过具体案例分析,展示了AI技术如何提高医疗服务效率和准确性,同时指出了当前面临的挑战与未来发展趋势。
15 2
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI在软件测试中的创新应用与实践###
本文旨在探讨人工智能(AI)技术如何革新软件测试领域,提升测试效率、质量与覆盖范围。通过深入分析AI驱动的自动化测试工具、智能化缺陷预测模型及持续集成/持续部署(CI/CD)流程优化等关键方面,本研究揭示了AI技术在解决传统软件测试痛点中的潜力与价值。文章首先概述了软件测试的重要性和当前面临的挑战,随后详细介绍了AI技术在测试用例生成、执行、结果分析及维护中的应用实例,并展望了未来AI与软件测试深度融合的趋势,强调了技术伦理与质量控制的重要性。本文为软件开发与测试团队提供了关于如何有效利用AI技术提升测试效能的实践指南。 ###
|
4天前
|
机器学习/深度学习 人工智能 监控
探索AI技术在医疗健康领域的应用与挑战
【10月更文挑战第13天】 本文探讨了人工智能(AI)在医疗健康领域的多种创新应用,包括疾病诊断、个性化治疗、患者监护和药物研发等方面。同时,文章也分析了当前AI技术在实际应用中面临的挑战,如数据隐私、算法透明度、监管问题等,并提出了一些可能的解决思路。通过综合分析,本文旨在为读者提供一个关于AI在医疗领域应用现状及未来的全面视角。
22 3
|
4天前
|
人工智能
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
|
4天前
|
人工智能 开发框架 Java
总计 30 万奖金,Spring AI Alibaba 应用框架挑战赛开赛
Spring AI Alibaba 应用框架挑战赛邀请广大开发者参与开源项目的共建,助力项目快速发展,掌握 AI 应用开发模式。大赛分为《支持 Spring AI Alibaba 应用可视化调试与追踪本地工具》和《基于 Flow 的 AI 编排机制设计与实现》两个赛道,总计 30 万奖金。
|
4天前
|
存储 人工智能 前端开发
教你一步步用 ChatUI + Julep 构建 AI 应用
本文介绍了如何使用 Julep 平台和 ChatUI 构建一个 AI 驱动的电影伴侣应用程序。通过创建用户、代理和会话,实现与用户的交互,并通过 API 获取响应消息。文章详细展示了从前端项目创建到后端集成的完整步骤,包括安装依赖、配置 API 密钥、处理用户输入和响应等。最终,通过运行项目,展示了应用程序的实际效果。源码已发布在 GitHub 上,供读者参考和学习。
15 0