五年磨一剑:阿里达摩院重磅推出AI模型社区「魔搭」,300+模型全面开源

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
视觉智能开放平台,图像资源包5000点
简介: 五年磨一剑:阿里达摩院重磅推出AI模型社区「魔搭」,300+模型全面开源

【新智元导读】刚刚,阿里达摩院重磅推出 AI 模型社区「魔搭」。首批开源模型超过 300 个,包括 150 多个 SOTA 模型和 10 多个大模型,其中超过 1/3 为中文模型。共覆盖视觉、语音、自然语言处理、多模态等超过 60 个主流任务。


2012 年,深度学习掀起第三次 AI 浪潮,随后 2016 年,AlphaGo 第一次战胜人类围棋选手,持续引爆 AI 发展浪潮,吸引众多开发者投身其中。

然而开发者很快发现, AI 从研发到落地部署门槛较高,需投入巨额成本,不仅要有大量数据来训练模型、优化算法,还要复杂的安装和部署。如何降低研发和应用的门槛,实现 AI 普惠?如何面向各行各业不同的应用场景,便于开发者快速定制 AI 解决方案?

对此,作为业内顶尖的 AI 研究机构,阿里达摩院在成立五年之际做出重大举动。

11 月 3 日,达摩院联手中国计算机学会(CCF)开源发展委员会重磅推出AI 模型社区魔搭 ModelScope,首批合作方还包括澜舟科技、智谱AI、深势科技、中国科学技术大学等多家科研机构,旨在打造下一代开源的模型即服务共享平台,致力降低 AI 应用门槛。

CSDN 创始人&董事长,极客帮创投创始合伙人蒋涛与阿里巴巴集团资深副总裁、阿里达摩院副院长周靖人,从魔搭社区的发展历程出发,共同探讨如何让 AI 更好地服务广大开发者,推进中国 AI 行业的发展。

破解 AI 应用难题,「让天下没有难用的AI 模型」


蒋涛:今天很高兴和周老师聊聊魔搭社区的发展历程。为什么达摩院要牵头推出魔搭社区?周靖人:近年来,AI 模型更新迭代速度飞快,与之相比,AI 应用速度存在一些滞后性。我们观察到,AI 产业化应用面临以下挑战:一是 AI 模型开发门槛高。AI 模型的复杂性越来越高,预训练模型尤其是大模型的研发门槛高,例如 Transformer 架构和 Diffusion Model 等训练起来并不容易,需要大量数据和算力的配合,因此当前只有大公司和研究机构才能对 AI 大模型进行研发和创新。二是简单的 AI 模型难以覆盖各行各业的 AI 应用需求面对新场景时,往往需要进行二次开发或优化,否则许多模型难以适配到特定环境应用中,AI 模型定制化门槛较高。三是模型训练、推理、安装部署等较为复杂,使用门槛较高。四是缺乏 AI 模型开发和使用交流分享的平台。当开发者遇到相关问题后,无法找到对应的模型服务,也找不到人来解答他的问题。针对以上痛点,达摩院提出了新概念「模型即服务」(Model as a Service)。其背后逻辑是把 AI 模型当作生产的重要元素,从模型预训练到二次调优,最后到模型部署,围绕模型的生命周期来提供相应的服务。为实现「模型即服务」理念,需从以下两点出发:一是提供模型仓库,收集模型,提供优质数据,还可针对业务场景调优。模型使用和算力需结合在一起,并提供快速体验模型,让广大开发者无需写代码就能快速体验模型的效果。二是提供抽象接口或 API 接口,以便开发者针对模型进行二次开发。当面对具体应用场景时,提供少样本或者零样本的方式便于开发者对模型做二次优化,真正让模型应用到不同的场景中。只有做到以上两点,才能真正实现 AI for Everyone。无论是 AI 兴趣爱好者,还是使用者、开发者、研究者,「模型即服务」理念均能承载不同人群对AI 的诉求,进一步落地 AI 应用。基于「模型即服务」理念,达摩院牵头推出魔搭社区 ModelScope。社区首批上架超 300 个模型,其中中文模型超过 100 个,覆盖了视觉、语音、自然语言处理、多模态等 AI 主要领域,覆盖主流任务超过 60 个。包括150多个 SOTA 模型和十多个大模型,均全面开源并开放使用。开发者可在社区找到目标模型,进入到模型卡,了解该模型细节,查看演示代码,进行模型调优等操作。社区提供了丰富的数据集,帮助大家快速上手使用模型。社区基于这些能力,从多维度帮助开发者解决实际在模型使用和开发遇到的难题,推动 AI 应用发展。蒋涛:达摩院投入了多少资源来打造魔搭社区?周靖人:自达摩院成立五年以来,在 AI 领域进行大量研究和探索,产出了一批重要的 AI 模型,涵盖语音、视觉、自然语言处理、多模态等,用于诸多行业。如今,达摩院毫无保留地将这些 AI 模型和能力贡献到魔搭社区,全力推动社区发展。然而光靠达摩院的力量并不足以丰富社区生态,因此我们携手合作伙伴在魔搭上开放众多优质模型,如澜舟科技的孟子系列模型,深势科技的蛋白质结构预测模型 Uni-Fold,智谱 AI 的多语言预训练模型等。我们非常高兴得到众多中国AI研究机构和研究人员的支持,包括CCF开源发展委员会的支持,大家纷纷贡献出自己的优质模型,共同来打造模型即服务的新型AI开源社区。蒋涛:达摩院倾力打造魔搭社区,其目标和愿景是什么?周靖人:通过魔搭社区,真正让 AI 开发变得更简单,实现 AI 应用的百花齐放。让更多开发者加入 AI 开发中来,将 AI 模型应用渗透到行行业业,将我国智能化开发推上新台阶。我们明白这是一个艰巨的任务,需要长期坚持走下去,因此期待携手更多合作伙伴和开发者共同参与建设魔搭社区。应该说,魔搭社区的发布,只是一个起点,远远算不上里程碑。蒋涛:以前阿里的 Slogon 是「让天下没有难做的生意」,通过魔搭社区的发布,我们看到另一种可能「让天下没有难用的 AI 模型」。

关注本土化需求,推动中国智能化发展


蒋涛:我们观察到魔搭似乎与国外 Huggingface 平台的发展路径相近,均是将模型开源,为开发者提供开放开源平台。与之相比,魔搭有哪些不同之处?

周靖人:Huggingface 从明星项目 Transformer 库入手,随后构建平台让用户可以托管相关的机器学习模型和数据集,还可共享、协作与投入生产应用,目前在国外生态蓬勃发展。

在国内,魔搭社区适逢其时,填补 AI 模型应用服务的空白,建设 AI 开发者生态。达摩院作为启动者,将这五年来所积累的最优模型毫无保留地开放开源给大家,目的为了推进中国 AI 模型社区的发展。从模型类型来看,不光有Transformer,还有Diffusion等多种架构的模型。更重要的是,魔搭更关注本土需求,提供大量中文模型,第一批提供的中文 AI 模型已超过 100 个,覆盖自然语言处理、语音等常用任务,还提供上述提到的阿里通义大模型系列、澜舟科技的孟子系列模型等优质中文大模型。

社区希望帮助中国开发者降低 AI 模型使用难度,降低模型的使用门槛。将传统软件开发者升级为 AI 开发者,让他们把 AI 模型集成到实际开发应用中。在智能化时代,每个开发者都将成为 AI 开发者,未来期待和中国开发者共建模型生态。

蒋涛:聊到帮助开发者降低 AI 使用门槛,能否聊聊魔搭所提供的能力与 AutoML 有哪些差异?

周靖人:这两者从不同的角度降低 AI 使用门槛。AutoML 包括自动选择模型、特征集合、模型超参数,自动搜索和裁剪模型结构等等。但是开发者仍然需要准备丰富的训练数据,初始的模型集合,也需要充足的算力来支持。

魔搭一方面提供训练好的模型,方便开发者快速集成到他的业务开发中去。另一方面,伴随大模型的发展,越来越多的的工作可由大模型来实现,如将一个论坛里所有的文章重新学习,进行分类等,大量的基础工作可通过语言模型或者通过多模态的预训练模型完成,而后再针对网站文章进行调优,这样无需耗费大量机器成本,无需耗费大量的时间。

蒋涛:我们可以理解为,魔搭在深度学习和传统的机器学习上,提供更广泛的能力。

周靖人:是的。如今预训练大模型成本较高,属于技术含量较高的领域。以达摩院为例,预训练大模型可能需要上百张甚至上千张 GPU 卡,并耗费几个星期到一个月才能训练完一个大模型。

魔搭社区将这些大模型开源给大家下载,还可以进行二次训练。其实达摩院在研发这些大模型时,并不确定大模型的具体应用,没有提前预知到下游任务。大模型帮助开发者提取、抽象知识,通过下游调优,将下游目标精确化,从而快速形成针对行业的解决模型,解决实际应用问题。

蒋涛:使用魔搭社区来调优后,与开发者沿用传统的AI开发方式,是否有巨大的效率提升?

周靖人:具体案例要具体分析,有的案例是超过 1:9,即节省了 90% 的工作,当然也有 3:7。魔搭社区目前处于起步阶段,后续持续完善,希望开发者多多反馈,沟通交流,共同建设魔搭社区,长期以往,相信未来会提高上述比例,通过社区来解决更多 AI 模型开发难题,提升研发效率。

魔搭的下一步


蒋涛:开发者使用 AI 模型离不开云,魔搭社区与阿里云建立了哪些连接?

周靖人:AI 模型涉及大量的数据、算力,线下很难找到适合的机器来跑,AI 模型的开发和使用,越来越跟云资源紧紧联系起来。魔搭社区无缝对接阿里云两个重量级产品——机器学习平台 PAI 和弹性计算 ECS,为开发者提供一定的免费资源,助力大家尝试 AI 模型的开发。

大家登录到社区后,可关联阿里云账号后,在网站点击相应的按钮就能跳转到阿里的开发环境里,并集成了系列 SDK ,方便开发者快速下载和开发。

但要说明的是,魔搭社区的模型支持多样化的训练和部署方式,用户可自主选择,社区坚持开源开放、兼容并包,不做任何绑定。

蒋涛:当社区在国内建设有一些成果后,有可能会考虑发展海外社区建设吗?

周靖人:目前是面向中国开发者,致力弥补国家智能化生态建设的空白。随着中国人工智能技术产业的发展,未来魔搭平台也会走向海外,将 AI 模型能力普惠全球开发者。

点击阅读原文,立即体验魔搭社区 modelscope.cn

相关文章
|
21天前
|
机器学习/深度学习 人工智能 并行计算
"震撼!CLIP模型:OpenAI的跨模态奇迹,让图像与文字共舞,解锁AI理解新纪元!"
【10月更文挑战第14天】CLIP是由OpenAI在2021年推出的一种图像和文本联合表示学习模型,通过对比学习方法预训练,能有效理解图像与文本的关系。该模型由图像编码器和文本编码器组成,分别处理图像和文本数据,通过共享向量空间实现信息融合。CLIP利用大规模图像-文本对数据集进行训练,能够实现zero-shot图像分类、文本-图像检索等多种任务,展现出强大的跨模态理解能力。
66 2
|
6天前
|
机器学习/深度学习 人工智能 算法
整合海量公共数据,谷歌开源AI统计学专家DataGemma
【10月更文挑战第28天】谷歌近期开源了DataGemma,一款AI统计学专家工具,旨在帮助用户轻松整合和利用海量公共数据。DataGemma不仅提供便捷的数据访问和处理功能,还具备强大的数据分析能力,支持描述性统计、回归分析和聚类分析等。其开源性质和广泛的数据来源使其成为AI研究和应用的重要工具,有助于加速研究进展和推动数据共享。
31 6
|
25天前
|
存储 人工智能 uml
介绍一款好用的开源画图神器-draw.io | AI应用开发
draw.io 是一款基于浏览器的开源绘图工具,无需安装即可使用,支持多种操作系统和设备。其简洁的界面、丰富的形状库、智能对齐功能和强大的云端协作能力,使其成为专业人士和创意爱好者的首选。无论是产品设计、流程图绘制还是思维导图构建,draw.io 都能满足你的多样化需求。【10月更文挑战第7天】
80 0
|
6天前
|
存储 人工智能 SEO
全开源免费AI网址导航网站源码
Aigotools 可以帮助用户快速创建和管理导航站点,内置站点管理和自动收录功能,同时提供国际化、SEO、多种图片存储方案。让用户可以快速部署上线自己的导航站。
18 1
|
13天前
|
人工智能
AI科学家太多,谁靠谱一试便知!普林斯顿新基准CORE-Bench:最强模型仅有21%准确率
【10月更文挑战第21天】普林斯顿大学研究人员提出了CORE-Bench,一个基于计算可重复性的AI代理基准,涵盖计算机科学、社会科学和医学领域的270个任务。该基准旨在评估AI代理在科学研究中的准确性,具有多样性、难度级别和现实相关性等特点,有助于推动AI代理的发展并提高计算可重复性。
34 4
|
23天前
|
人工智能 Java API
阿里云开源 AI 应用开发框架:Spring AI Alibaba
近期,阿里云重磅发布了首款面向 Java 开发者的开源 AI 应用开发框架:Spring AI Alibaba(项目 Github 仓库地址:alibaba/spring-ai-alibaba),Spring AI Alibaba 项目基于 Spring AI 构建,是阿里云通义系列模型及服务在 Java AI 应用开发领域的最佳实践,提供高层次的 AI API 抽象与云原生基础设施集成方案,帮助开发者快速构建 AI 应用。本文将详细介绍 Spring AI Alibaba 的核心特性,并通过「智能机票助手」的示例直观的展示 Spring AI Alibaba 开发 AI 应用的便利性。示例源
|
22天前
|
人工智能 自然语言处理
从迷茫到精通:揭秘模型微调如何助你轻松驾驭AI新热点,解锁预训练模型的无限潜能!
【10月更文挑战第13天】本文通过简单的问题解答形式,结合示例代码,详细介绍了模型微调的全流程。从选择预训练模型、准备新任务数据集、设置微调参数,到进行微调训练和评估调优,帮助读者全面理解模型微调的技术细节和应用场景。
61 6
|
27天前
|
机器学习/深度学习 人工智能 TensorFlow
解锁AI潜力:让开源模型在私有环境绽放——手把手教你搭建专属智能服务,保障数据安全与性能优化的秘密攻略
【10月更文挑战第8天】本文介绍了如何将开源的机器学习模型(如TensorFlow下的MobileNet)进行私有化部署,包括环境准备、模型获取与转换、启动TensorFlow Serving服务及验证部署效果等步骤,适用于希望保护用户数据并优化服务性能的企业。
48 4
|
27天前
|
机器学习/深度学习 人工智能 自然语言处理
揭开模型微调Fine-Tuning的神秘面纱:如何在预训练基础上巧妙调整,解锁定制AI解决方案的秘密武器
【10月更文挑战第8天】模型微调是在预训练模型基础上,利用特定领域数据进一步训练,以优化模型在特定任务上的表现。此方法广泛应用于自然语言处理和计算机视觉等领域,通过调整预训练模型的部分或全部参数,结合适当的正则化手段,有效提升模型性能。例如,使用Hugging Face的Transformers库对BERT模型进行微调,以改善文本匹配任务的准确率。
53 1
|
8天前
|
人工智能 安全 Cloud Native