MSRA联手国内四大顶级高校共建新一代人工智能开放科研教育平台

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
简介:

5 月 22 日,为响应国家人工智能战略规划以及教育部关于人工智能相关建设与发展的号召,微软亚洲研究院宣布,联手北京大学、中国科学技术大学、西安交通大学和浙江大学四所国内顶级院校,共建新一代人工智能开放科研教育平台。雷锋网 AI 科技评论对本次平台启动仪式的内容整理如下。从学术开发和企业活动上看,MSRA 在雷锋网(公众号:雷锋网)学术频道 AI 科技评论旗下数据库项目「AI 影响因子」中有不错的表现。MSRA 近期承办了 2018 微软人工智能大会微软中英新闻翻译达到人类水平,成绩斐然,希望MSRA之后有更好的表现。

MSRA联手国内四大顶级高校共建新一代人工智能开放科研教育平台

微软全球资深副总裁、微软亚太研发集团主席兼微软亚洲研究院院长洪小文表示:「微软亚洲研究院在人工智能基础研究方面有着 20 年的积累,此次携手国内顶级高校共建新一代人工智能开放科研教育平台,我们的愿景在于进一步将微软的技术优势付诸平台实践,提升中国新一代人工智能领域的研发创新、人才培养、科学研究、社会服务能力。我们希望此次平台成立翻开产学研各界开放共赢的新开篇,并期待更多后续合作高校的加入」

到 2020 年,平台计划开展超过 100 个联合科研项目,开设超过 200 个人工智能课程,帮助 2000 位以上的教师提升专业技能,并为超过 2 万名学生提供实践实训的机会。

四大核心资源&服务

新一代人工智能开放科研教育平台将深度聚焦科研、教学与生态,面向中国高校提供技术支撑平台、工具、数据和课程四大核心资源和服务。

支撑平台:在新一代人工智能开放科研教育平台的合作框架下,微软将推出 Open Platform for AI(Open PAI)人工智能管理和调度平台,这是国内首个针对深度学习领域由多方共同开发的开源平台解决方案。合作各方将利用 Open PAI 开放、开源、兼容的特性,以及微软强大的计算能力和资源,建立属于自己的人工智能基础支撑平台,并享有自主产权和创新成果,为各自学校内部提供人工智能领域的创新和教育服务支持工作。

工具:为了帮助平台合作高校更轻松地享受到人工智能领域中间技术层和深入业务的上层应用这两层关键技术能力带来的益处,微软将提供业界第一款针对人工智能全生命周期集成开发的环境——Tools For AI,以及微软在语音、语言、视觉等核心技术范畴内的开源工具。同时,平台还将集成高校在各自领域里的优质开源工具。

数据:在平台合作框架下,微软将开放自身人工智能领域的数据集供合作高校科研和教育使用,各高校也将通过平台贡献各自在多个领域的数据集,如中国科学技术大学国家类脑实验室的海量类脑数据等。

课程:微软将积极整合自身人工智能的技术和专家积累,兼顾实战和知识,开发并开放一套人工智能模块化课程,同时平台还将联合高校专家,共同合作开发一系列具有推广和示范性意义的、符合高校教学理念的人工智能系列课程。平台合作高校也将根据自身学校学科建设和人才培养方案,定制出具有国际化水平的人工智能专业和实践课程。

OpenPAI

微软亚洲研究院为新一代人工智能开放科研教育平台提供的三大关键技术之一,Open Platform for AI(OpenPAI)备受瞩目。

OpenPAI 是由微软亚洲研究院和微软(亚洲)互联网工程院联合研发的,支持多种深度学习、机器学习及大数据任务,可提供大规模 GPU 集群调度、集群监控、任务监控、分布式存储等功能。

OpenPAI 的架构如下图所示,用户通过 Web Portal 调用 REST Server 的 API 提交作业(Job)和监控集群,其他第三方工具也可通过该 API 进行任务管理。随后 REST Server 与 Launcher 交互,以执行各种作业,再由 Launcher Server 处理作业请求并将其提交至 Hadoop YARN 进行资源分配与调度。可以看到,OpenPAI 给 YARN 添加了 GPU 支持,使其能将 GPU 作为可计算资源调度,助力深度学习。其中,YARN 负责作业的管理,其他静态资源(下图蓝色方框所示)则由 Kubernetes 进行管理。

MSRA联手国内四大顶级高校共建新一代人工智能开放科研教育平台

OpenPAI 完全基于微服务架构,所有的 OpenPAI 服务和 AI Job 均在容器中运行,这样的设计让 OpenPAI 的部署更加简单,无论是在 Ubuntu 裸机集群还是在云服务器上,仅需运行几个脚本即可完成部署。这同时也使其能够支持多种不同类型的 AI 任务,如 CNTK、TensorFlow、PyTorch 等不同的深度学习框架。此外,用户通过自定义 Job 容器即可支持新的深度学习框架和其他机器学习、大数据等 AI 任务,具有很强的扩展性。

在运维方面,OpenPAI 提供了 AI 任务在线调试、错误报警、日志管理、性能检测等功能,显著降低了 AI 平台的日常运维难度。同时,它还支持 MPI、RDMA 网络,可满足企业对大规模深度学习任务的性能要求。

不仅如此,OpenPAI 还实现了与 Visual Studio 的集成。Visual Studio Tools for AI 是微软 Visual Studio 2017 IDE 的扩展,用户在 Visual Studio 中就可以开发、调试和部署深度学习和 AI 解决方案。集成后,用户在 Visual Studio 中调试好的模型可便捷地部署到 OpenPAI 集群中。

OpenPAI 五大优势

由上文可见 OpenPAI 具有如下五大优势。

为深度学习量身定做,可扩展支撑更多 AI 和大数据框架

通过创新的 PAI 运行环境支持,几乎所有深度学习框架如 CNTK,TensorFlow, PyTorch 等无需修改即可运行;其基于 Docker 的架构则让用户可以方便地扩展更多 AI 与大数据框架。

容器与微服务化,让 AI 流水线实现 DevOps

OpenPAI 100% 基于微服务架构,让 AI 平台以及开发便于实现 DevOps 的开发运维模式。

支持 GPU 多租,可统筹集群资源调度与服务管理能力

在深度学习负载下,GPU 逐渐成为资源调度的一等公民,OpenPAI 提供了针对 GPU 优化的调度算法,丰富的端口管理,支持 Virtual Cluster 多租机制,可通过 Launcher Server 为服务作业的运行保驾护航。

提供丰富的运营、监控、调试功能,降低运维复杂度

OpenPAI 为运营人员提供了硬件、服务、作业的多级监控,同时开发者还可以通过日志,ssh 等方便调试作业。

兼容AI开发工具生态

平台实现了与 Visual Studio Tools for AI 等开发工具的深度集成,用户可以一站式进行 AI 开发。

入门 OpenPAI

本次会议微软亚洲研究院还为大家提供了 OpenPAI 的入门教程。

首先是平台部署:

编译支持 GPU 调度的 Hadoop AI 容器,详见https://github.com/Microsoft/pai/blob/master/hadoop-ai/README.md

部署 Kubernetes 以及系统服务(如 drivers、zookeeper、REST Server 等)。详见https://github.com/Microsoft/pai/blob/master/pai-management/README.md

访问 Web Portal 进行任务提交和集群管理。

然后是提交深度学习 Job 示例

将你的数据和代码上传至 HDFS:如用 hdfs 命令行将数据上传至hdfs://host:port/path/tensorflow-distributed-jobguid/data

准备 Job 配置文件:详见https://github.com/Microsoft/pai/tree/master/job-tutorial

浏览 Web Portal,点击"Submit Job"上传配置文件,即可提交你的 Job。

具体学习和体验 OpenPAI,请点击https://github.com/Microsoft/pai

以上就是雷锋网 AI 科技评论对本次 MSRA 承办的新一代人工智能开放科研教育平台启动仪式的全部报道。


原文发布时间为:2018-05-28

本文作者:sanman

本文来自云栖社区合作伙伴“雷锋网”,了解相关信息可以关注“雷锋网”。

相关实践学习
基于阿里云DeepGPU实例,用AI画唯美国风少女
本实验基于阿里云DeepGPU实例,使用aiacctorch加速stable-diffusion-webui,用AI画唯美国风少女,可提升性能至高至原性能的2.6倍。
相关文章
|
15天前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之如何在odps上启动独立的任务
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
人工智能平台PAI产品使用合集之如何在odps上启动独立的任务
|
1天前
|
人工智能 搜索推荐 安全
智能增强:AI技术在现代教育中的应用与挑战
随着人工智能(AI)技术的飞速发展,其在教育领域的应用也日益广泛。本文探讨了AI技术如何重塑教育行业,包括个性化学习、智能辅导系统、以及自动化评估工具的开发。同时,文章也指出了AI在教育中所面临的挑战,如数据隐私问题、教师角色的转变以及技术不平等现象。通过分析AI技术在教育中的利与弊,本文旨在为教育工作者和政策制定者提供洞察,以促进AI技术在教育领域中的健康发展。
|
1天前
|
人工智能 搜索推荐 算法
智能增强:人工智能在个性化教育中的应用
【6月更文挑战第24天】本文探讨了人工智能(AI)如何革新传统教育模式,通过个性化学习路径、实时反馈和评估以及辅助教师决策等手段,实现教育资源的优化配置和教学方法的个性化调整。AI技术不仅能够提升学生的学习效率,还能够为教师提供教学上的辅助,从而推动教育的智能化发展。
18 2
|
6天前
|
人工智能 搜索推荐 安全
人工智能与未来教育:重塑学习方式的革命
【6月更文挑战第19天】随着人工智能技术的飞速发展,其在教育领域的应用正逐步深化。本文将探讨人工智能如何影响和改变传统教育模式,包括个性化学习、智能教学辅助、数据驱动的教育决策以及未来教育的发展趋势。通过分析AI技术在教育中的应用案例和潜在挑战,本文旨在为读者提供一个关于AI如何塑造未来教育环境的全面视角。
|
9天前
|
机器学习/深度学习 人工智能 自然语言处理
【CVPR2024】阿里云人工智能平台PAI图像编辑算法论文入选CVPR2024
近期,阿里云人工智能平台PAI发表的图像编辑算法论文在CVPR-2024上正式亮相发表。论文成果是阿里云与华南理工大学贾奎教授领衔的团队共同研发。此次入选标志着阿里云人工智能平台PAI自主研发的图像编辑算法达到了先进水平,赢得了国际学术界的认可。在阿里云人工智能平台PAI算法团队和华南理工大学的老师学生们一同的坚持和热情下,将阿里云在图像生成与编辑领域的先进理念得以通过学术论文和会议的形式,向业界传递和展现。
|
6天前
|
传感器 机器学习/深度学习 人工智能
多模态大模型代表了人工智能领域的新一代技术范式
多模态大模型代表了人工智能领域的新一代技术范式
13 2
|
8天前
|
人工智能 自然语言处理 安全
AI在教育中的应用:机遇与挑战
【6月更文挑战第18天】AI在教育中带来个性化学习、智能辅助教学和自动化评估等机遇,但也遭遇技术难题、教育理念融合、隐私安全及教师适应性等挑战。应对策略包括技术创新、理念融合、隐私保护和教师培训,以实现AI教育应用的潜力。
|
9天前
|
人工智能 前端开发 搜索推荐
人工智能(AI)和低代码开发平台
人工智能(AI)和低代码开发平台
22 1
|
15天前
|
机器学习/深度学习 人工智能 TensorFlow
人工智能平台PAI产品使用合集之如何设置DCluster参数
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
15天前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之int类型是否可以为raw feature
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

热门文章

最新文章