阿里云机器学习平台 PAI宣布集成国产深度学习框架 OneFlow

简介: 在云栖大会上,阿里云机器学习PAI平台宣布集成自研深度学习框架OneFlow,进一步提升对国产算法框架的支持。PAI可以在架构上实现包括对国际主流、国内自研在内的任何第三方深度学习框架的支持。

11月4日消息,在云栖大会上,阿里云机器学习平台 PAI宣布集成自研深度学习框架OneFlow,进一步提升对国产算法框架的支持。


阿里云机器学习平台PAI是一站式AI开发平台,提供了丰富的机器学习组件和云原生开发工具,集成了国际主流的机器学习框架例如TensorFlow、PyTorch和Caffe等。同时,PAI具备开放性的技术架构,支持第三方社区框架集成到PAI平台,以社区镜像或自定义镜像的方式提供给开发者。


将自研深度学习框架OneFlow集成到PAI上,也是对机器学习平台PAI开放性的验证,PAI可以在架构上实现包括对国际主流、国内自研在内的任何第三方深度学习框架的支持


OneFlow 是一款易用、高效、高扩展,自主研发的深度学习框架。其算子和模块编程接口与 PyTorch 兼容性极高,基于 PyTorch 搭建的常见模型几乎不用修改即可在 OneFlow 上运行,迁移成本低。并且可以轻松切换动静模式,模型调试阶段享有和PyTorch 完全一样的动态图编程体验;除此之外,OneFlow 计算性能卓越,在主流模型上最大有一个数量级的性能提升,极致系统级优化实现几乎零运行期开销。

目前,AI开发者已经可以在PAI的云原生开发环境中使用OneFlow进行机器学习训练和离线推理。开发者在PAI的深度学习容器DLC中创建训练任务时,只需要在“社区镜像”列表里选择OneFlow镜像,任务提交后PAI就可以使用OneFlow框架执行深度学习训练任务。开发者也可以在PAI的Data Science Workshop (DSW) 交互式开发工具中安装OneFlow软件并执行基于OneFlow框架的训练任务。

98894B16-B8A7-437b-9E24-006D0709FEF7.png

除了通过合作集成的方式实现对第三方社区框架的支持,PAI平台还允许开发者使用自定义镜像来执行云原生训练任务。开发者可以在深度学习容器DLC中选择自己事先保存好的镜像,或者指定自定义镜像地址,在提交训练任务时PAI就会使用该镜像执行相应的任务。PAI平台的开放性架构设计实现对任何第三方机器学习框架的支持,具有良好的可扩展性和丰富性,是基于云原生AI开发的强大平台。


 了解更多关于阿里云机器学习平台 PAI 相关消息:

https://www.aliyun.com/product/bigdata/learn

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
10月前
|
机器学习/深度学习 人工智能 供应链
从概念到商业价值:AI、机器学习与深度学习全景指南
在这个科技飞速发展的时代🚀,人工智能正以惊人的速度渗透到我们的生活和工作中👀。但面对铺天盖地的AI术语和概念,很多人感到困惑不已😣。"AI"、"机器学习"、"深度学习"和"神经网络"到底有什么区别?它们如何相互关联?如何利用这些技术提升工作效率和创造价值?
565 0
|
存储 人工智能 大数据
AI开发新范式,PAI模型构建平台升级发布
本次分享由阿里云智能集团产品专家高慧玲主讲,聚焦AI开发新范式及PAI模型构建平台的升级。分享分为四个部分,围绕“人人可用”和“面向生产”两大核心理念展开。通过降低AI工程化门槛、提供一站式全链路服务,PAI平台致力于帮助企业和开发者更高效地实现AI应用。案例展示中,介绍了多模态模型微调在文旅场景的应用,展示了如何快速复现并利用AI解决实际问题。最终目标是让AI技术更普及,赋能各行业,推动社会进步。
|
11月前
|
机器学习/深度学习 存储 Kubernetes
【重磅发布】AllData数据中台核心功能:机器学习算法平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
人工智能 自然语言处理 搜索推荐
云上玩转DeepSeek系列之三:PAI-RAG集成联网搜索,构建企业级智能助手
本文将为您带来“基于 PAI-RAG 构建 DeepSeek 联网搜索+企业级知识库助手服务”解决方案,PAI-RAG 提供全面的生态能力,支持一键部署至企业微信、微信公众号、钉钉群聊机器人等,助力打造多场景的AI助理,全面提升业务效率与用户体验。
|
机器学习/深度学习 人工智能 监控
AutoTrain:Hugging Face 开源的无代码模型训练平台
AutoTrain 是 Hugging Face 推出的开源无代码模型训练平台,旨在简化最先进模型的训练过程。用户无需编写代码,只需上传数据即可创建、微调和部署自己的 AI 模型。AutoTrain 支持多种机器学习任务,并提供自动化最佳实践,包括超参数调整、模型验证和分布式训练。
1489 4
AutoTrain:Hugging Face 开源的无代码模型训练平台
PAI-Rec推荐平台对于实时特征有三个层次
PAI-Rec推荐平台针对实时特征有三个处理层次:1) 离线模拟反推历史请求时刻的实时特征;2) FeatureStore记录增量更新的实时特征,模型特征导出样本准确性达99%;3) 通过callback回调接口记录请求时刻的特征。各层次确保了实时特征的准确性和时效性。
634 0
|
机器学习/深度学习 人工智能 算法
探索机器学习:从线性回归到深度学习
本文将带领读者从基础的线性回归模型开始,逐步深入到复杂的深度学习网络。我们将通过代码示例,展示如何实现这些算法,并解释其背后的数学原理。无论你是初学者还是有经验的开发者,这篇文章都将为你提供有价值的见解和知识。让我们一起踏上这段激动人心的旅程吧!
267 3
|
人工智能 智能设计 数据处理
|
机器学习/深度学习 人工智能 TensorFlow
基于TensorFlow的深度学习模型训练与优化实战
基于TensorFlow的深度学习模型训练与优化实战
698 3

相关产品

  • 人工智能平台 PAI