剑桥大学为超级计算机装上第三个“大脑”,云原生技术正式”吞噬“超算领域

简介: 剑桥大学为超级计算机装上第三个“大脑”,云原生技术正式”吞噬“超算领域

yy.png

超级计算作为“大计算”领域的另一大分支,一般会被用来与云计算进行优劣势类比。但超算与云计算也存在很多不同,比如 HPC(High Performance Computing,HPC)几乎不用虚拟化技术,因为一个应用就可能把多个机器的 CPU 都跑满了,虚拟化技术似乎没有用武之地。

但随着云计算技术的发展,逐渐出现了云超算的概念。这是一种新型的高性能计算方式,基于云平台技术底座,深度融合高性能计算、边缘计算、人工智能等最新技术,提供统一的算力平台,共享的资源池和高性能的算力,可以解决传统 HPC 在使用过程中易遇扩展性不佳、遭遇性能瓶颈、管理维护难等实际问题。

但随着云计算进入“云原生”阶段,云原生也逐渐成为云超算架构中重要组成部分,“Cloud Native is eating the world”,已不再是业内人士的口号,而是大势所趋。


剑桥大学:打造造福全人类的世界级云原生超级计算机

近日媒体曝出,剑桥大学正在打造全球第一台 TOP500 科研云原生超级计算机 —— CSD3(Cambridge Service for Data Driven Discovery),这也是全球性能最强大的科研超级计算机之一。

这台超级计算机获得了由 STFC DiRAC、STFC IRIS、EPSRC、MRC 和 UKAEA 支持的英国研究与创新中心(UKRI)资助,并委托剑桥大学进行管理。

剑桥大学除了是全球知名的高等学府,同时也是英国最大的科研云基地,目前正在扩容一个算力达 4 PFlops 的全新 Dell-EMC 系统,该系统采用 NVIDIA A100 GPU,NVIDIA BlueField DPU 和 NVIDIA InfiniBand 网络,将为英国学术研究机构在广阔的交叉研究上提供安全的、多租户、裸金属高性能计算 AI 和数据分析服务。

同时,CSD3 也采用了由 NVIDIA 赋能的全新云原生超级计算平台以及由剑桥大学和 StackHPC 共同开发的一款名为“Scientific OpenStack”的云 HPC 软件栈。

剑桥大学高性能计算总监 Paul Calleja 表示:“按照 2020 年 11 月 TOP 500 榜单,这套系统将跻身前 100 名。它将使我们的研究人员能够运用超级计算架构领域的最新成果来充分优化他们的应用。”

简单来说,CSD3 系统有望借助 4 PFlops 的应用性能,在一系列领域进行研究,包括天体物理学,核聚变发电和临床医学应用。


云原生超级计算机 —— 为超算装上第三个“大脑”yy.png

超级计算机通常有两个 “大脑” —— CPU 和加速器 GPU。

GPU 一般会集合数千个处理核,可为 AI 和 HPC 应用中最重要的并行运算提供加速。CPU 是针对需要快速串行处理的算法部分而设计的,但随着其管理的系统日益庞大且日渐复杂,通信的层数不断增多,导致 CPU 的负担越来越重。

云原生超级计算机则为超级计算机引入了第三个 “大脑” —— DPU,旨在帮助构建更快、更高效的系统。DPU 能够卸载安全、通信、存储等需要由现代系统管理的工作。

从实际效果层面来看,云原生超级计算机融合了超级计算机的强大算力和云原生服务的安全性与易用性。

首先,它允许多用户共享一台超级计算机,同时保证每个用户的应用的安全性和私密性。这种能力被称为“多租户隔离”,在当今的商业云计算服务中十分普遍,但一般不会出现在技术和科学应用的 HPC 系统中,因为在这些系统中,裸性能的优先级最高,而安全服务会降低系统效率。

其次,云原生超级计算机使用 DPU 来处理存储、租户隔离安全和系统管理等任务。这样可以卸载 CPU,使其专注于处理任务,从而最大限度地提高系统的整体性能。

云原生超级计算机还有一个特点,就是它的计算和通信是并行处理的。

在传统超级计算机中,运行中的计算任务有时不得不暂停等待 CPU 去处理通信任务,这是业界熟知的一个问题,被称为系统噪声。

云原生超级计算机能有效的解决系统噪声的问题。俄亥俄州立大学 MVAPICH 实验室的一份早期测试结果显示,在云原生超级计算机执行某些 HPC 作业的速度是传统计算机的 1.4 倍。该实验室还展示,云原生超级计算机实现了计算和通信功能的 100% 重合,这比现有的 HPC 系统高出 99%。

如此,一台超级计算机便可以在不损失性能的情况下,实现云原生服务,使系统在运行 HPC 和 AI 应用时时刻保持最高的运行效率。


云原生的未来,是什么形状?

云原生超级计算机离我们可能比较远,但正如前文所说,云原生的出现,无疑将为我们的技术发展和形态带来极大的改变。过去两年的行业调研结果表明,无论是中国还是美国,云计算的新增长点已经都转向云原生相关的领域,如容器即服务(Containers as a Service,CaaS)、编排技术、微服务、DevOps 等。

同时云原生相关的技术栈也得到了快速的发展,以 Docker、Kubernetes、Istio 为代表的容器运行时、编排系统、服务网格已经成为事实上的标准,而 API 网关、无服务框架也在快速演进中。

可以预计,未来 5 年内,云原生相关的技术会在互联网企业、金融、运营商等行业得到大量应用落地,那么云原生的未来发展,将会是什么形状?

相关文章
|
5天前
|
监控 Cloud Native 持续交付
构建未来:云原生技术驱动的云计算平台
【5月更文挑战第52天】 随着数字化转型的不断深化,企业对于敏捷性、可扩展性和成本效益的需求日益增长。本文探讨了如何通过采纳云原生技术来构建和优化云计算平台,以支持不断变化的业务需求。文章首先概述了云原生技术的核心概念及其优势,随后详细分析了在设计云平台时应考虑的关键要素,并通过案例研究展示了云原生实践在实际中的应用效果。最后,文章提出了面向未来的云平台发展趋势和挑战。
|
2天前
|
人工智能 运维 Cloud Native
活动回顾丨云原生技术实践营 Serverless + AI 专场 (深圳站) 回顾 & PPT 下载
云原生技术实践营 Serverless + AI 专场 (深圳站) 回顾。
|
6天前
|
人工智能 运维 Cloud Native
云端融合:探索云原生技术的未来趋势
【6月更文挑战第19天】 在数字化时代的浪潮中,云原生技术如同一颗耀眼的星辰,引领着软件开发和运维的新方向。本文将深入探讨云原生技术的核心概念、优势以及面临的挑战,并通过案例分析展现其在实际应用中的成效。我们将一窥云原生技术如何推动企业IT架构的现代化转型,以及它在未来可能带来的行业变革。
|
3天前
|
运维 Cloud Native 开发者
云原生技术演进:从微服务到无服务器计算
【6月更文挑战第22天】 云原生技术如同一场持续的演化之旅,它不断重塑着应用的开发与部署方式。本文将探讨云原生技术如何从微服务架构演变至无服务器计算,以及这一转变对开发者和运维人员带来的深远影响。通过分析容器化、持续集成/持续部署(CI/CD)、微服务治理等关键概念,我们将揭示云原生技术如何在提高应用的可伸缩性、灵活性和可靠性的同时,也提出了新的挑战和机遇。
|
2天前
|
运维 Cloud Native 持续交付
云原生技术的崛起与应用前景
在当今快速发展的科技领域中,云原生技术作为一种革命性的开发和部署方式,正以其灵活性和效率优势改变着软件开发和运维的面貌。本文将探讨云原生技术的定义、关键特性以及在现代软件开发中的应用前景,旨在帮助读者深入理解这一新兴技术的重要性和实际价值。
12 3
|
8天前
|
Kubernetes Cloud Native 数据安全/隐私保护
云原生技术在现代企业中的应用与挑战
【6月更文挑战第17天】本文深入探讨了云原生技术在现代企业中的运用,包括其定义、核心技术和实施策略。同时,文章也剖析了企业在采纳云原生过程中可能遇到的技术挑战和管理难题,并提供了相应的解决策略。通过案例分析,本文展示了云原生技术如何助力企业实现数字化转型,提高业务敏捷性和市场竞争力。
|
2天前
|
人工智能 Cloud Native Serverless
云原生技术实践营 · 深圳站:Serverless + AI 专场开启报名!
“云原生技术实践营 · 深圳站 ——Serverless + AI 应用开发专场”是一场以 Serverless 为主题的技术活动,通过一个下午的时间增进对 Serverless 技术的理解,快速上手,活动受众以关注 Serverless 技术的开发者、企业决策人、云原生领域创业者为主,活动形式为演讲、动手实操。
|
8天前
|
Cloud Native 安全 API
云原生技术在现代企业中的应用与挑战
【6月更文挑战第17天】随着云计算技术的不断成熟和普及,云原生作为一种新兴的技术范式,正逐步成为推动企业数字化转型的重要力量。本文将探讨云原生技术的基本概念、核心优势以及在现代企业中的具体应用案例。同时,文章也将分析企业在采用云原生技术过程中可能遇到的挑战,并提出相应的解决策略。通过深入分析,旨在为读者提供对云原生技术更全面的认识,以及如何有效利用该技术推动企业发展的实用建议。
31 7
|
6天前
|
Cloud Native 持续交付 云计算
云原生技术在现代企业中的应用与挑战
【6月更文挑战第19天】随着云计算技术的飞速发展,云原生作为一种新兴的构建和运行应用程序的方法,正逐步成为推动企业数字化转型的重要力量。本文将深入探讨云原生技术的核心概念、优势以及在实际企业应用中遇到的挑战,同时结合案例分析,展示云原生如何在提升业务敏捷性、降低运营成本及增强系统可靠性方面发挥关键作用。
|
6天前
|
运维 Cloud Native 持续交付
云原生技术:现代应用开发的革命性变革
云原生技术正在重新定义软件开发和部署的方式。通过采用容器、微服务、持续集成与持续交付(CI/CD)等关键技术,企业可以显著提升开发效率、缩短上市时间,并提高应用的可扩展性和可靠性。本文深入探讨了云原生技术的核心组件及其带来的实际业务价值,展示了其在现代应用开发中的革命性影响。
11 1

热门文章

最新文章