剑桥大学为超级计算机装上第三个“大脑”,云原生技术正式”吞噬“超算领域

简介: 剑桥大学为超级计算机装上第三个“大脑”,云原生技术正式”吞噬“超算领域

yy.png

超级计算作为“大计算”领域的另一大分支,一般会被用来与云计算进行优劣势类比。但超算与云计算也存在很多不同,比如 HPC(High Performance Computing,HPC)几乎不用虚拟化技术,因为一个应用就可能把多个机器的 CPU 都跑满了,虚拟化技术似乎没有用武之地。

但随着云计算技术的发展,逐渐出现了云超算的概念。这是一种新型的高性能计算方式,基于云平台技术底座,深度融合高性能计算、边缘计算、人工智能等最新技术,提供统一的算力平台,共享的资源池和高性能的算力,可以解决传统 HPC 在使用过程中易遇扩展性不佳、遭遇性能瓶颈、管理维护难等实际问题。

但随着云计算进入“云原生”阶段,云原生也逐渐成为云超算架构中重要组成部分,“Cloud Native is eating the world”,已不再是业内人士的口号,而是大势所趋。


剑桥大学:打造造福全人类的世界级云原生超级计算机

近日媒体曝出,剑桥大学正在打造全球第一台 TOP500 科研云原生超级计算机 —— CSD3(Cambridge Service for Data Driven Discovery),这也是全球性能最强大的科研超级计算机之一。

这台超级计算机获得了由 STFC DiRAC、STFC IRIS、EPSRC、MRC 和 UKAEA 支持的英国研究与创新中心(UKRI)资助,并委托剑桥大学进行管理。

剑桥大学除了是全球知名的高等学府,同时也是英国最大的科研云基地,目前正在扩容一个算力达 4 PFlops 的全新 Dell-EMC 系统,该系统采用 NVIDIA A100 GPU,NVIDIA BlueField DPU 和 NVIDIA InfiniBand 网络,将为英国学术研究机构在广阔的交叉研究上提供安全的、多租户、裸金属高性能计算 AI 和数据分析服务。

同时,CSD3 也采用了由 NVIDIA 赋能的全新云原生超级计算平台以及由剑桥大学和 StackHPC 共同开发的一款名为“Scientific OpenStack”的云 HPC 软件栈。

剑桥大学高性能计算总监 Paul Calleja 表示:“按照 2020 年 11 月 TOP 500 榜单,这套系统将跻身前 100 名。它将使我们的研究人员能够运用超级计算架构领域的最新成果来充分优化他们的应用。”

简单来说,CSD3 系统有望借助 4 PFlops 的应用性能,在一系列领域进行研究,包括天体物理学,核聚变发电和临床医学应用。


云原生超级计算机 —— 为超算装上第三个“大脑”yy.png

超级计算机通常有两个 “大脑” —— CPU 和加速器 GPU。

GPU 一般会集合数千个处理核,可为 AI 和 HPC 应用中最重要的并行运算提供加速。CPU 是针对需要快速串行处理的算法部分而设计的,但随着其管理的系统日益庞大且日渐复杂,通信的层数不断增多,导致 CPU 的负担越来越重。

云原生超级计算机则为超级计算机引入了第三个 “大脑” —— DPU,旨在帮助构建更快、更高效的系统。DPU 能够卸载安全、通信、存储等需要由现代系统管理的工作。

从实际效果层面来看,云原生超级计算机融合了超级计算机的强大算力和云原生服务的安全性与易用性。

首先,它允许多用户共享一台超级计算机,同时保证每个用户的应用的安全性和私密性。这种能力被称为“多租户隔离”,在当今的商业云计算服务中十分普遍,但一般不会出现在技术和科学应用的 HPC 系统中,因为在这些系统中,裸性能的优先级最高,而安全服务会降低系统效率。

其次,云原生超级计算机使用 DPU 来处理存储、租户隔离安全和系统管理等任务。这样可以卸载 CPU,使其专注于处理任务,从而最大限度地提高系统的整体性能。

云原生超级计算机还有一个特点,就是它的计算和通信是并行处理的。

在传统超级计算机中,运行中的计算任务有时不得不暂停等待 CPU 去处理通信任务,这是业界熟知的一个问题,被称为系统噪声。

云原生超级计算机能有效的解决系统噪声的问题。俄亥俄州立大学 MVAPICH 实验室的一份早期测试结果显示,在云原生超级计算机执行某些 HPC 作业的速度是传统计算机的 1.4 倍。该实验室还展示,云原生超级计算机实现了计算和通信功能的 100% 重合,这比现有的 HPC 系统高出 99%。

如此,一台超级计算机便可以在不损失性能的情况下,实现云原生服务,使系统在运行 HPC 和 AI 应用时时刻保持最高的运行效率。


云原生的未来,是什么形状?

云原生超级计算机离我们可能比较远,但正如前文所说,云原生的出现,无疑将为我们的技术发展和形态带来极大的改变。过去两年的行业调研结果表明,无论是中国还是美国,云计算的新增长点已经都转向云原生相关的领域,如容器即服务(Containers as a Service,CaaS)、编排技术、微服务、DevOps 等。

同时云原生相关的技术栈也得到了快速的发展,以 Docker、Kubernetes、Istio 为代表的容器运行时、编排系统、服务网格已经成为事实上的标准,而 API 网关、无服务框架也在快速演进中。

可以预计,未来 5 年内,云原生相关的技术会在互联网企业、金融、运营商等行业得到大量应用落地,那么云原生的未来发展,将会是什么形状?

相关文章
|
15天前
|
运维 Cloud Native 安全
云原生技术在现代企业中的应用与挑战####
本文探讨了云原生技术在现代企业IT架构中的关键作用,分析了其带来的优势和面临的主要挑战。通过实际案例分析,揭示了如何有效应对这些挑战,以实现业务敏捷性和技术创新的平衡。 ####
|
12天前
|
Kubernetes Cloud Native 微服务
探索云原生技术:容器化与微服务架构的融合之旅
本文将带领读者深入了解云原生技术的核心概念,特别是容器化和微服务架构如何相辅相成,共同构建现代软件系统。我们将通过实际代码示例,探讨如何在云平台上部署和管理微服务,以及如何使用容器编排工具来自动化这一过程。文章旨在为开发者和技术决策者提供实用的指导,帮助他们在云原生时代中更好地设计、部署和维护应用。
|
12天前
|
Cloud Native 持续交付 开发者
云原生技术在现代企业中的应用与实践####
本文深入探讨了云原生技术的核心概念及其在现代企业IT架构转型中的关键作用,通过具体案例分析展示了云原生如何促进企业的敏捷开发、高效运维及成本优化。不同于传统摘要仅概述内容,本部分旨在激发读者对云原生领域的兴趣,强调其在加速数字化转型过程中的不可或缺性,为后续详细论述奠定基础。 ####
|
17天前
|
Kubernetes Cloud Native 物联网
云原生技术在现代软件开发中的应用与挑战####
本文探讨了云原生技术的兴起背景、核心理念及其在现代软件开发中的广泛应用。通过具体案例分析,揭示了云原生架构如何促进企业数字化转型,并指出了在实施过程中面临的主要挑战及应对策略。 ####
|
1天前
|
Cloud Native
邀您参加云原生高可用技术沙龙丨云上高可用体系构建:从理论到实践
云原生高可用技术专场,邀您从理论到实践一起交流,探索云上高可用体系构建!
|
12天前
|
Cloud Native JavaScript Docker
云原生技术:构建现代应用的基石
在数字化转型的浪潮中,云原生技术如同一艘承载梦想的航船,引领企业驶向创新与效率的新海域。本文将深入探索云原生技术的核心价值,揭示其如何重塑软件开发、部署和运维模式,同时通过一个简易代码示例,展现云原生应用的构建过程,让读者领略到云原生技术的魅力所在。
|
12天前
|
运维 Cloud Native 持续交付
云原生技术深度探索:重塑现代IT架构的无形之力####
本文深入剖析了云原生技术的核心概念、关键技术组件及其对现代IT架构变革的深远影响。通过实例解析,揭示云原生如何促进企业实现敏捷开发、弹性伸缩与成本优化,为数字化转型提供强有力的技术支撑。不同于传统综述,本摘要直接聚焦于云原生技术的价值本质,旨在为读者构建一个宏观且具体的技术蓝图。 ####
|
14天前
|
运维 Cloud Native 开发者
云原生技术入门与实践
在云计算的浪潮中,云原生技术以其独特的优势和魅力吸引了越来越多的开发者和企业。本文将从云原生技术的基本概念、核心组件以及实际应用三个方面进行详细介绍,帮助读者更好地理解和掌握这一新兴技术。同时,文章还将分享一些实际案例和经验教训,让读者能够更深入地了解云原生技术的应用场景和发展趋势。
33 5
|
13天前
|
Cloud Native 持续交付 云计算
云原生技术的崛起与未来展望
本文探讨了云原生技术的核心概念、发展历程及其在现代IT架构中的关键作用。随着云计算的普及,云原生作为一种优化云应用构建和部署的方法,正逐渐成为企业数字化转型的重要推力。文章分析了容器化、微服务、持续集成/持续部署(CI/CD)等关键技术如何支撑起灵活、高效、可扩展的云原生架构,并讨论了面临的挑战与未来的发展趋势。
28 2
|
13天前
|
Kubernetes Cloud Native 持续交付
云端之旅:云原生技术引领未来
在数字时代的浪潮中,云原生技术如同一艘承载梦想的航船,带领企业驶向数字化转型的彼岸。本文将揭示云原生技术的核心价值,探讨其在现代IT架构中的应用,并分享实现云原生转型的实践案例。从容器化和微服务到持续集成与持续部署(CI/CD),我们将一同见证云原生技术如何塑造灵活、高效、自动化的未来。