剑桥大学为超级计算机装上第三个“大脑”,云原生技术正式”吞噬“超算领域

简介: 剑桥大学为超级计算机装上第三个“大脑”,云原生技术正式”吞噬“超算领域

yy.png

超级计算作为“大计算”领域的另一大分支,一般会被用来与云计算进行优劣势类比。但超算与云计算也存在很多不同,比如 HPC(High Performance Computing,HPC)几乎不用虚拟化技术,因为一个应用就可能把多个机器的 CPU 都跑满了,虚拟化技术似乎没有用武之地。

但随着云计算技术的发展,逐渐出现了云超算的概念。这是一种新型的高性能计算方式,基于云平台技术底座,深度融合高性能计算、边缘计算、人工智能等最新技术,提供统一的算力平台,共享的资源池和高性能的算力,可以解决传统 HPC 在使用过程中易遇扩展性不佳、遭遇性能瓶颈、管理维护难等实际问题。

但随着云计算进入“云原生”阶段,云原生也逐渐成为云超算架构中重要组成部分,“Cloud Native is eating the world”,已不再是业内人士的口号,而是大势所趋。


剑桥大学:打造造福全人类的世界级云原生超级计算机

近日媒体曝出,剑桥大学正在打造全球第一台 TOP500 科研云原生超级计算机 —— CSD3(Cambridge Service for Data Driven Discovery),这也是全球性能最强大的科研超级计算机之一。

这台超级计算机获得了由 STFC DiRAC、STFC IRIS、EPSRC、MRC 和 UKAEA 支持的英国研究与创新中心(UKRI)资助,并委托剑桥大学进行管理。

剑桥大学除了是全球知名的高等学府,同时也是英国最大的科研云基地,目前正在扩容一个算力达 4 PFlops 的全新 Dell-EMC 系统,该系统采用 NVIDIA A100 GPU,NVIDIA BlueField DPU 和 NVIDIA InfiniBand 网络,将为英国学术研究机构在广阔的交叉研究上提供安全的、多租户、裸金属高性能计算 AI 和数据分析服务。

同时,CSD3 也采用了由 NVIDIA 赋能的全新云原生超级计算平台以及由剑桥大学和 StackHPC 共同开发的一款名为“Scientific OpenStack”的云 HPC 软件栈。

剑桥大学高性能计算总监 Paul Calleja 表示:“按照 2020 年 11 月 TOP 500 榜单,这套系统将跻身前 100 名。它将使我们的研究人员能够运用超级计算架构领域的最新成果来充分优化他们的应用。”

简单来说,CSD3 系统有望借助 4 PFlops 的应用性能,在一系列领域进行研究,包括天体物理学,核聚变发电和临床医学应用。


云原生超级计算机 —— 为超算装上第三个“大脑”yy.png

超级计算机通常有两个 “大脑” —— CPU 和加速器 GPU。

GPU 一般会集合数千个处理核,可为 AI 和 HPC 应用中最重要的并行运算提供加速。CPU 是针对需要快速串行处理的算法部分而设计的,但随着其管理的系统日益庞大且日渐复杂,通信的层数不断增多,导致 CPU 的负担越来越重。

云原生超级计算机则为超级计算机引入了第三个 “大脑” —— DPU,旨在帮助构建更快、更高效的系统。DPU 能够卸载安全、通信、存储等需要由现代系统管理的工作。

从实际效果层面来看,云原生超级计算机融合了超级计算机的强大算力和云原生服务的安全性与易用性。

首先,它允许多用户共享一台超级计算机,同时保证每个用户的应用的安全性和私密性。这种能力被称为“多租户隔离”,在当今的商业云计算服务中十分普遍,但一般不会出现在技术和科学应用的 HPC 系统中,因为在这些系统中,裸性能的优先级最高,而安全服务会降低系统效率。

其次,云原生超级计算机使用 DPU 来处理存储、租户隔离安全和系统管理等任务。这样可以卸载 CPU,使其专注于处理任务,从而最大限度地提高系统的整体性能。

云原生超级计算机还有一个特点,就是它的计算和通信是并行处理的。

在传统超级计算机中,运行中的计算任务有时不得不暂停等待 CPU 去处理通信任务,这是业界熟知的一个问题,被称为系统噪声。

云原生超级计算机能有效的解决系统噪声的问题。俄亥俄州立大学 MVAPICH 实验室的一份早期测试结果显示,在云原生超级计算机执行某些 HPC 作业的速度是传统计算机的 1.4 倍。该实验室还展示,云原生超级计算机实现了计算和通信功能的 100% 重合,这比现有的 HPC 系统高出 99%。

如此,一台超级计算机便可以在不损失性能的情况下,实现云原生服务,使系统在运行 HPC 和 AI 应用时时刻保持最高的运行效率。


云原生的未来,是什么形状?

云原生超级计算机离我们可能比较远,但正如前文所说,云原生的出现,无疑将为我们的技术发展和形态带来极大的改变。过去两年的行业调研结果表明,无论是中国还是美国,云计算的新增长点已经都转向云原生相关的领域,如容器即服务(Containers as a Service,CaaS)、编排技术、微服务、DevOps 等。

同时云原生相关的技术栈也得到了快速的发展,以 Docker、Kubernetes、Istio 为代表的容器运行时、编排系统、服务网格已经成为事实上的标准,而 API 网关、无服务框架也在快速演进中。

可以预计,未来 5 年内,云原生相关的技术会在互联网企业、金融、运营商等行业得到大量应用落地,那么云原生的未来发展,将会是什么形状?

目录
打赏
0
0
0
0
50
分享
相关文章
云消息队列 Kafka 版 V3 系列荣获信通院“云原生技术创新标杆案例”
2024 年 12 月 24 日,由中国信息通信研究院(以下简称“中国信通院”)主办的“2025 中国信通院深度观察报告会:算力互联网分论坛”,在北京隆重召开。本次论坛以“算力互联网 新质生产力”为主题,全面展示中国信通院在算力互联网产业领域的研究、实践与业界共识,与产业先行者共同探索算力互联网产业未来发展的方向。会议公布了“2024 年度云原生与应用现代化标杆案例”评选结果,“云消息队列 Kafka 版 V3 系列”荣获“云原生技术创新标杆案例”。
云原生技术在现代企业中的应用与挑战####
本文探讨了云原生技术在现代企业IT架构中的关键作用,分析了其带来的优势和面临的主要挑战。通过实际案例分析,揭示了如何有效应对这些挑战,以实现业务敏捷性和技术创新的平衡。 ####
探索云原生技术:容器化与微服务架构的融合之旅
本文将带领读者深入了解云原生技术的核心概念,特别是容器化和微服务架构如何相辅相成,共同构建现代软件系统。我们将通过实际代码示例,探讨如何在云平台上部署和管理微服务,以及如何使用容器编排工具来自动化这一过程。文章旨在为开发者和技术决策者提供实用的指导,帮助他们在云原生时代中更好地设计、部署和维护应用。
云原生技术在现代企业中的应用与实践####
本文深入探讨了云原生技术的核心概念及其在现代企业IT架构转型中的关键作用,通过具体案例分析展示了云原生如何促进企业的敏捷开发、高效运维及成本优化。不同于传统摘要仅概述内容,本部分旨在激发读者对云原生领域的兴趣,强调其在加速数字化转型过程中的不可或缺性,为后续详细论述奠定基础。 ####
实力见证!数据管理服务DMS、云原生多模数据库Lindorm荣获“2024技术卓越奖”
实力见证!数据管理服务DMS、云原生多模数据库Lindorm荣获“2024技术卓越奖”
感谢认可!阿里云云原生大规模云边协同技术荣获浙江省科学技术进步奖一等奖
感谢认可!阿里云云原生大规模云边协同技术荣获浙江省科学技术进步奖一等奖
云原生技术在现代软件开发中的应用与挑战####
本文探讨了云原生技术的兴起背景、核心理念及其在现代软件开发中的广泛应用。通过具体案例分析,揭示了云原生架构如何促进企业数字化转型,并指出了在实施过程中面临的主要挑战及应对策略。 ####
邀您参加云原生高可用技术沙龙丨云上高可用体系构建:从理论到实践
云原生高可用技术专场,邀您从理论到实践一起交流,探索云上高可用体系构建!
102 10
Serverless Argo Workflows大规模计算工作流平台荣获信通院“云原生技术创新标杆案例”
2024年12月24日,阿里云Serverless Argo Workflows大规模计算工作流平台荣获由中国信息通信研究院颁发的「云原生技术创新案例」奖。
DataWorks深度技术解读:构建开放的云原生数据开发平台
Dateworks是一款阿里云推出的云原生数据处理产品,旨在解决数据治理和数仓管理中的挑战。它强调数据的准确性与一致性,确保商业决策的有效性。然而,严格的治理模式限制了开发者的灵活性,尤其是在面对多模态数据和AI应用时。为应对这些挑战,Dateworks进行了重大革新,包括云原生化、开放性增强及面向开发者的改进。通过Kubernetes作为资源底座,Dateworks实现了更灵活的任务调度和容器化支持,连接更多云产品,并提供开源Flowspec和Open API,提升用户体验。

热门文章

最新文章