科学家会梦见“贾维斯”吗?AI和科研如何在云端汇合

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 在《达摩院2022十大科技趋势》报告中,AI for Science被列为年度十大趋势之一,达摩院认为,“人工智能与科研深度结合,将成为科学家继计算机之后的新生产工具”。这意味着,如果科学家拥有超级智能助手“贾维斯”,人类的科学发展将进入新世代。日前闭幕的2022北京智源大会,阿里云基础设施大计算集群部总监曹政,从云端算力供给、科研开发平台入手,探讨云上的“AI for Science”。科学活动

在《达摩院2022十大科技趋势》报告中,AI for Science被列为年度十大趋势之一,达摩院认为,“人工智能与科研深度结合,将成为科学家继计算机之后的新生产工具”。这意味着,如果科学家拥有超级智能助手“贾维斯”,人类的科学发展将进入新世代。日前闭幕的2022北京智源大会,阿里云基础设施大计算集群部总监曹政,从云端算力供给、科研开发平台入手,探讨云上的“AI for Science”。

科学活动分为三种:理论、实验和计算,这三驾马车相辅相成。如果说用AI模拟科学家的智能还太难,那么用AI代替传统的计算方法,对求解的科学问题进行快速建模则非常有效。近年来,人工智能在蛋白质结构预测、药物研发、材料研发等领域已积累了丰硕的应用成果。

AI与HPC加速融合,催生科研新范式

如DeepMD以神经网络代替经典科研计算手段(薛定谔方程/密度泛函求解),使计算复杂度从O()降低到O(n),显著加速分子动力模拟的过程同时大幅度降低了复杂问题解决的门槛,提升科研效率,促进更广泛的创新;类似的应用案例还有蛋白质空间结构预测、短临预报(中小尺度天气系统)等。

 

图 | 融合计算常见流程

HPC(高性能计算集群)的计算结果作为输入,让AI从中自主学习规律,形成的神经网络再与HPC协同输出,多次迭代以获取高精度结果。

曹政认为:“AI for Science 是AI和HPC的‘化学反应’,HPC的计算和AI的计算过程紧密耦合,计算负载与通用计算有显著的差异。”

面向数据和应用,全链路优化计算效率

AI for Science对计算有全新的要求,不仅是更高性能的计算服务,还要考虑不同工具链和开发者生态的支持,阿里云从计算效率、开发协同效率、资源效率,三方面提供支持

针对应用,提升计算效率

AI for Science的计算底座该如何构建?计算方案的设计需要从数据和应用出发,下面这个典型场景可以让我们了解科研场景的“计算负载”特征。

图 | 融合计算应用场景示例

以分子动力学应用为例,整个计算过程为搜索(Exploration)、高精度标注(Labeling)、深度学习(Training)三种环节,HPC、AI应用融合循环以进行迭代,直到获得达到目标精准度的分子动力学模型。过程中的应用会涉及CPU/GPU不同的计算芯片,计算效率的提升,第一个要解决的问题就是对多芯算力的融合。

面向未来:共中心架构

由于引入了配比多样的CPU/GPU异构计算系统,使得以CPU为中心的传统架构会遇到性能瓶颈、资源效率低下等问题。

从系统层面分析不同应用的计算负载差异:HPC应用主打高精度迭代计算(逻辑),需要面向小消息和低密度数据的通信特征,降低局部服务器节点间通信时延,以CPU多机计算为主,GPU仅作单机内辅助加速;在深度学习为代表的AI训练场景,不仅需要低延时保障,同时也对带宽有更高的要求,为了快速完成训练任务,对集群的通信性能要求更高。

为满足不同应用的计算负载,阿里云设计“共中心架构”,为集群构建融合网络层,资源深度共享,打造数据与算力之间的智能加速通道。

图 | 共中心架构

曹政认为:面向融合计算场景,“共中心”是未来系统架构的演进方向,即“不分主从”和“资源共有”,加速器和CPU不分主从,面向不同业务按需结合,通过软硬件的协同,实现全资源“中台化”/池化,为数据提供更智能的计算服务。

●  在HPC场景中,CPU是计算的核心,而在AI场景,GPU才是核心“生产力”。为了充分提升计算效率,阿里云于2018年提出“共中心集群架构”存储/IO/网络等资源成为“中台”,并且保障高效的QoS(通信效率),不同的计算部件可按需“调用”,实现计算集群层面的“生产关系与生产力的适配”。

●  面向应用和数据,阿里云通过融合计算资源调度、融合通信库、融合存储等自研集群系统软件,实现资源层、计算层、数据层全局效率的优化,当前单集群算力最高可达3Exa-Flops,已经在内外部多个超大规模AI项目中得到验证。

共中心架构让云具备更高效的计算能力,以满足更复杂的计算需求,为科技创新提供云原生基础设施和平台服务。

促进协同,提升开发效率

在科研场景,数据和算力是核心资源。以开发者视角,通过高效的算力、工具链、工作平台提供研发支持,可以促进HPC和AI的开发生态互通,让开发者提升数据处理和模型开发效率,同时催化协同效应,加速创新效率。

阿里云具备丰富的数据和AI开发工具,可以完整支持AI研发生命周期和高效的数据管理能力,各种结构化和非结构化的数据都可以统一管理和分析,可视化的交互,使得不同规模机器学习任务都可以简单而高效地构建。

机器学习平台PAI

支持精细化团队协同的AI工作空间和AI资产管理平台,可以实现超大规模模型构建,支持面向应用层的全方位AI性能优化。PAI集成开源autoML框架NNI。PAI-DSW以jupyter插件形式集成NNI,让自动机器学习能力变得唾手可得;PAI-DLC分布式集群可进行NNI HPO分布式训练,提升使用效果。

普惠计算,提升资源效率

“当今云计算正处于一个新的发展阶段,越来越多数据密集型的计算,对算力提出了新的要求:即能满足弹性资源的需求,也保障并行计算效率,阿里云从软硬件自研技术入手,在一个超大规模高性能网络中,构建一个可以持续进化的“智能”算力系统,提升通信IO效率,消除“虚拟化税”,为社会提供普惠的智能计算服务。”曹政认为。

一个全新的云计算时代即将到来,全新的应用生态和全新的云计算基础设施正在被定义,以AI为代表的密集计算应用生态,需要高带宽、低时延的并行计算性能。阿里云通过深耕自研技术,为数智驱动型企业和机构,提供兼顾规模和效率的云计算服务,并且从开发者生态层促进社区和产业融合。相关产品具备混合云和公有云等灵活的部署形态,具备一致性用云体验,已经在车辆智能、新药研发、金融智能、城市智能等场景落地应用。

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
3月前
|
人工智能 大数据
书海畅谈:云端读书会第1期,与你共同探索AI的无限可能
为帮助大家更好地学习和交流,特推出「书海畅谈|云端读书会第1期」。首期活动时间为2023年10月10日至10月30日,参与者可通过完成阅读任务赢取精美礼品。本次活动精选《10分钟打造专属AI助手》,无论您是技术小白还是行业专家,都能从中受益。点击链接参与活动,与志同道合的朋友一起探索新知,激发灵感,建立联系。欢迎加入钉群:71215028694,与更多小伙伴互动。
|
1天前
|
人工智能 监控 安全
云端问道18期实践教学-AI 浪潮下的数据安全管理实践
本文主要介绍AI浪潮下的数据安全管理实践,主要分为背景介绍、Access Point、Bucket三个部分
28 16
|
1天前
|
人工智能 弹性计算 自然语言处理
云端问道 6 期实践教学-创意加速器:AI 绘画创作
本文介绍了在阿里云平台上一键部署Demo应用的步骤。部署完成后,通过公网地址体验Demo应用,包括文本生成图像等功能。
19 10
|
1天前
|
人工智能 自然语言处理 算法
云端问道11期实践教学-创建专属AI助手
本次分享意在帮助用户更加全面、深入地了解百炼的核心产品能力,并通过实际操作学会如何快速将大模型与自己的系统及应用相结合。主要包括以下三个方面: 1. 阿里云百炼产品定位和能力简介 2. 知识检索 RAG 智能体应用能力和优势 3. 最佳落地案例实践分享
|
2月前
|
人工智能 自然语言处理 小程序
云端微光,AI启航:低代码开发的智造未来
在技术革新飞速发展的浪潮中,低代码开发与AI技术的结合正在重塑编程的边界。通过亲身体验腾讯云开发 Copilot,本篇文章从初学者视角出发,深度探索了从需求输入到功能实现的整个流程。Copilot 的自然语言解析能力和模块化设计,不仅缩短了开发周期,更让非技术背景的用户也能轻松迈入技术世界。AI 的加持使开发效率倍增,需求转化更加精准;然而,复杂场景中的生成代码质量和高级功能支持也存在优化空间。文章总结了AI辅助开发的技术优势、应用场景与未来发展方向,并探讨了开发者角色在智能化时代的转型,致力于为读者呈现一
57 2
云端微光,AI启航:低代码开发的智造未来
|
30天前
|
人工智能 自然语言处理 安全
谷歌版贾维斯即将问世,最强Gemini 2.0加持!AI自主操控电脑时代来临
谷歌发布的Gemini 2.0标志着AI新时代的到来,被誉为“谷歌版贾维斯”。该系统在自然语言处理、图像识别及自主操控电脑等方面取得重大进展,尤其在多模态数据处理上表现出色,能更准确理解用户需求并执行复杂任务。尽管存在对AI自主操控可能带来的负面影响的担忧,谷歌强调Gemini 2.0旨在辅助而非替代人类工作,且已采取多项措施保障其安全性和可靠性。
28 5
|
2月前
|
人工智能 知识图谱
成熟的AI要学会自己搞研究!MIT推出科研特工
MIT推出科研特工SciAgents,结合生成式AI、本体表示和多代理建模,实现科学发现的自动化。通过大规模知识图谱和多代理系统,SciAgents能探索新领域、识别复杂模式,加速新材料发现,展现跨学科创新潜力。
47 12
|
2月前
|
人工智能
AI科学家太多,谁靠谱一试便知!普林斯顿新基准CORE-Bench:最强模型仅有21%准确率
【10月更文挑战第21天】普林斯顿大学研究人员提出了CORE-Bench,一个基于计算可重复性的AI代理基准,涵盖计算机科学、社会科学和医学领域的270个任务。该基准旨在评估AI代理在科学研究中的准确性,具有多样性、难度级别和现实相关性等特点,有助于推动AI代理的发展并提高计算可重复性。
59 4
|
3月前
|
人工智能
云端问道12期-构建基于Elasticsearch的企业级AI搜索应用陪跑班获奖名单公布啦!
云端问道12期-构建基于Elasticsearch的企业级AI搜索应用陪跑班获奖名单公布啦!
187 2
|
3月前
|
人工智能 自然语言处理
召唤100多位学者打分,斯坦福新研究:AI科学家创新确实强
【10月更文挑战第6天】斯坦福大学最新研究评估了大型语言模型(LLMs)在生成新颖研究想法方面的能力,通过100多位NLP专家盲评LLMs与人类研究人员提出的想法。结果显示,LLMs在新颖性方面超越人类(p < 0.05),但在可行性上略逊一筹。研究揭示了LLMs作为科研工具的潜力与挑战,并提出了进一步验证其实际效果的设计。论文详见:https://arxiv.org/abs/2409.04109。
50 6