阿里云机器学习平台 PAI宣布集成国产深度学习框架 OneFlow

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 在云栖大会上,阿里云机器学习PAI平台宣布集成自研深度学习框架OneFlow,进一步提升对国产算法框架的支持。PAI可以在架构上实现包括对国际主流、国内自研在内的任何第三方深度学习框架的支持。

11月4日消息,在云栖大会上,阿里云机器学习平台 PAI宣布集成自研深度学习框架OneFlow,进一步提升对国产算法框架的支持。


阿里云机器学习平台PAI是一站式AI开发平台,提供了丰富的机器学习组件和云原生开发工具,集成了国际主流的机器学习框架例如TensorFlow、PyTorch和Caffe等。同时,PAI具备开放性的技术架构,支持第三方社区框架集成到PAI平台,以社区镜像或自定义镜像的方式提供给开发者。


将自研深度学习框架OneFlow集成到PAI上,也是对机器学习平台PAI开放性的验证,PAI可以在架构上实现包括对国际主流、国内自研在内的任何第三方深度学习框架的支持


OneFlow 是一款易用、高效、高扩展,自主研发的深度学习框架。其算子和模块编程接口与 PyTorch 兼容性极高,基于 PyTorch 搭建的常见模型几乎不用修改即可在 OneFlow 上运行,迁移成本低。并且可以轻松切换动静模式,模型调试阶段享有和PyTorch 完全一样的动态图编程体验;除此之外,OneFlow 计算性能卓越,在主流模型上最大有一个数量级的性能提升,极致系统级优化实现几乎零运行期开销。

目前,AI开发者已经可以在PAI的云原生开发环境中使用OneFlow进行机器学习训练和离线推理。开发者在PAI的深度学习容器DLC中创建训练任务时,只需要在“社区镜像”列表里选择OneFlow镜像,任务提交后PAI就可以使用OneFlow框架执行深度学习训练任务。开发者也可以在PAI的Data Science Workshop (DSW) 交互式开发工具中安装OneFlow软件并执行基于OneFlow框架的训练任务。

98894B16-B8A7-437b-9E24-006D0709FEF7.png

除了通过合作集成的方式实现对第三方社区框架的支持,PAI平台还允许开发者使用自定义镜像来执行云原生训练任务。开发者可以在深度学习容器DLC中选择自己事先保存好的镜像,或者指定自定义镜像地址,在提交训练任务时PAI就会使用该镜像执行相应的任务。PAI平台的开放性架构设计实现对任何第三方机器学习框架的支持,具有良好的可扩展性和丰富性,是基于云原生AI开发的强大平台。


 了解更多关于阿里云机器学习平台 PAI 相关消息:

https://www.aliyun.com/product/bigdata/learn

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
23天前
|
机器学习/深度学习 数据采集 算法
深度学习和机器学习中针对非时间序列的回归任务,有哪些改进角度?
本文探讨了在深度学习和机器学习中针对非时间序列的回归任务的多种改进策略,包括数据预处理、数据集增强、特征选择、模型选择、模型正则化与泛化、优化器选择、学习率调整、超参数调优以及性能评估与模型解释,旨在提升模型的性能和可解释性。
34 1
深度学习和机器学习中针对非时间序列的回归任务,有哪些改进角度?
|
2月前
|
机器学习/深度学习 人工智能 Shell
人工智能平台PAI操作报错合集之在分布式训练过程中遇到报错,是什么原因
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
30天前
|
机器学习/深度学习 存储 人工智能
提升深度学习性能的利器—全面解析PAI-TorchAcc的优化技术与应用场景
在当今深度学习的快速发展中,模型训练和推理的效率变得尤为重要。为了应对计算需求不断增长的挑战,AI加速引擎应运而生。其中,PAI-TorchAcc作为一个新兴的加速引擎,旨在提升PyTorch框架下的计算性能。本文将详细介绍PAI-TorchAcc的基本概念、主要特性,并通过代码实例展示其性能优势。
17950 159
|
4天前
|
机器学习/深度学习 人工智能 算法
探索AI的魔法:机器学习与深度学习的奥秘
【8月更文挑战第27天】在这篇文章中,我们将深入探讨人工智能的两个重要分支:机器学习和深度学习。我们将首先理解它们的基本概念,然后通过Python代码示例,展示如何应用这些技术解决实际问题。无论你是AI新手,还是有经验的开发者,这篇文章都将为你提供新的知识和启示。让我们一起开启这场AI的魔法之旅吧!
|
4天前
|
机器学习/深度学习 并行计算 PyTorch
PyTorch与CUDA:加速深度学习模型训练的最佳实践
【8月更文第27天】随着深度学习应用的广泛普及,高效利用GPU硬件成为提升模型训练速度的关键。PyTorch 是一个强大的深度学习框架,它支持动态计算图,易于使用且高度灵活。CUDA (Compute Unified Device Architecture) 则是 NVIDIA 开发的一种并行计算平台和编程模型,允许开发者直接访问 GPU 的并行计算能力。本文将详细介绍如何利用 PyTorch 与 CUDA 的集成来加速深度学习模型的训练过程,并提供具体的代码示例。
17 1
|
7天前
|
监控 数据安全/隐私保护 异构计算
借助PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据
【8月更文挑战第8天】借助PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据
34 1
|
14天前
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】机器学习、深度学习、强化学习和迁移学习简介、相互对比、区别与联系。
机器学习、深度学习、强化学习和迁移学习都是人工智能领域的子领域,它们之间有一定的联系和区别。下面分别对这四个概念进行解析,并给出相互对比、区别与联系以及应用场景案例分析。
18 1
|
18天前
|
机器学习/深度学习 人工智能 自然语言处理
探索人工智能的未来:从机器学习到深度学习
本文将探讨人工智能的发展历程,特别是机器学习和深度学习的兴起。我们将深入了解这些技术如何改变我们的生活,并讨论未来的发展趋势。
23 1
|
18天前
|
机器学习/深度学习 算法 数据挖掘
深度学习之量子计算加速的机器学习
深度学习的量子计算加速机器学习是一种新兴的跨领域研究方向,旨在利用量子计算的独特特性来加速和优化传统机器学习模型,特别是深度学习模型。量子计算具有在处理特定类型问题时指数级加速的潜力,结合深度学习可以带来性能和效率的显著提升
29 1
|
29天前
|
机器学习/深度学习 运维 算法
【阿里天池-医学影像报告异常检测】3 机器学习模型训练及集成学习Baseline开源
本文介绍了一个基于XGBoost、LightGBM和逻辑回归的集成学习模型,用于医学影像报告异常检测任务,并公开了达到0.83+准确率的基线代码。
32 9

相关产品

  • 人工智能平台 PAI
  • 下一篇
    云函数