看云栖说云栖——神龙、含光、擎天、云超算

简介: 说说以神龙为代表的阿里云计算资源

遥远的东方有一条神龙,它不仅可以在天空(计算)、大地(存储)、海洋(网络)间自由穿梭,还能够在虚拟和现实之间幻化自如。

数据中心三大资源分别是计算、存储、网络,这次就让我们先聊一聊阿里云的计算基础设施,相关的内容来自杭州云栖大会2019以下三个专场:

  • 阿里云智能弹性计算专场
  • 阿里云异构计算专场
  • 阿里云智能弹性计算用户实践专场

在阿里云,神龙是计算资源的代表,阿里云及阿里巴巴经济体的百万台服务器都要统一到神龙架构下。
1.jpg
(图片来自于2019杭州云栖大会公开脱敏胶片)

世界上有两种云服务商:一种是有裸金属服务的,一种是没有裸金属服务的。所谓的裸金属就是直接提供物理服务器硬件给上层操作系统和应用。神龙就是阿里云提供裸金属计算服务的基础。

服务器虚拟化是云服务商进行大规模资源管理和分配的利器,可以说,没有虚拟化就没有今天云计算的发展,但总有一些应用场景是不太适合使用服务器虚拟化的,例如容器集群、深度学习、高性能计算,这样的场景越来越多。但直接提供物理服务器对云服务商的资源调度管理将带来严重挑战,这种挑战还不仅在于资源的初始化和重新分配方面,还在于需要同时保有虚拟化和物理机两个资源池,难免会出现闲置和不足同时发生的情况,另外,物理服务器对云服务商围绕虚拟化平台而构建起来的各种存储、计算资源的访问也会出现这样或者那样的问题。

神龙就是阿里云解决上述一切问题的答案,以下是第二代神龙的架构,这也是阿里巴巴生态体正在采用的一代架构。

2.jpg

(图片来自于2019杭州云栖大会公开脱敏胶片)

神龙架构包含软件和硬件两部分:

  • Dragonfly Hypervisor虚拟化层、是阿里云为神龙定制的服务器虚拟化系统,具有超轻薄(内存<1MB/VM),资源“零损耗”(CPU<0.1%);超平稳、性能“零抖动”(计算平稳性:99.9999%);超平滑,兼容原架构(兼容KVM架构,支持虚拟机互迁移)的特点。
  • 神龙板卡、不仅支持为虚拟机提供存储、网络资源还支持为物理服务器提供EBS弹性块存储和VPC网络支持,并提供远超物理硬件的存储和网络QOS保障能力。

在神龙服务器上运行容器平台,可在高负载场景下依然保证较低的网络和存储延时:

3.jpg

(图片来自于2019杭州云栖大会公开脱敏胶片)

神龙自从2017年发布以来,保持每年更新一代的迭代速度,在这次杭州云栖大会上,将发布第三代神龙。
4.jpg

(图片来自于2019杭州云栖大会公开脱敏胶片)

第三代神龙将更多的存储和网络IO功能加入到神龙芯片中,实现了更低的时延和性能抖动。
5.jpg

(图片来自于2019杭州云栖大会公开脱敏胶片)

说完了神龙,让我们来到阿里云异构计算分论坛,所谓的异构计算讨论的是除了CPU之外的其他计算单元,包括GPU、FPGA、也包括在这次大会上发布的含光800(NPU)。
阿里云的NPU芯片的定位是面向在线推理领域,在杭州城市大脑的应用场景下,4张含光800NPU卡所处理的主城区实时交通视频需要40张 GPU卡方可处理,使用NPU的延时是150ms而GPU的延时为300ms。
在淘宝网拍立淘场景下,10亿张图片的识别使用GPU下需要1个小时,而使用NPU只需要5分钟,效率提升了12倍
搭载含光800NPU的服务器实例AN1已经开始公测,号称性价比提升100%。
除了自研的NPU芯片,在这次云栖大会上还发布了擎天加速引擎:Ali-Perseus。
这是一个统一加速框架,可以让Tensorflow、Caffe、MXNET、PyTorch这些深度学习框架在阿里云上跑的更好,按照演讲者的说法就是可以让A级车有B级车的感受,让B级车跑出C级车的效果,至于实际表现,阿里云请到了小米的工程师以小爱老师作为应用案例进行现身说法。
在擎天加速引擎之外,在异构计算分论坛还发布了异构加速资源池。这个异构加速资源池希望解决异构计算场景下的以下这些问题:

  • 异构资源利用率低、要么是GPU卡闲置,要么是GPU的算力无法得到充分使用。
  • 资源碎片浪费、在大规模的异构集群调度场景下,因为GPU和CPU的配比问题而导致无法充分使用零散的碎片资源,导致浪费。
  • 系统可靠性难题、当出现故障时无法优雅的迁移当前任务。
  • AI芯片种类繁多适配难、在这个世界上的AI相关芯片实在是太多了。

在阿里云内部的开放测试环境中,通过引入异构加速资源池实现了GPU的高利用率,甚至超卖,在开发测试环境学生实习实训环境,能够进行GPU超卖可以显著降低这些环境对GPU资源的需求,从而降低了系统的总体成本。

说到对资源的充分利用,HPC高性能计算环境绝对有着最为迫切的需求。因为集群的管理和调度问题,一般的高性能计算集群的利用率能够到30%已经是非常好的了,为了解决这一问题,当年笔者还参与过一些HPC高性能计算集群的云化科研项目,在勘探和空气动力学领域都进行过一些尝试,勘探领域的问题是数据吞吐的问题,而在空气动力学领域是节点之间协同的问题。现在有了神龙,既能满足这些HPC环境对极致吞吐和稳定时延的要求,又能实现高效敏捷的管理和运维,阿里云基于神龙推出的E-HPC高性能计算服务已经在包括工业制造、地址勘探、生物医药、气候气象、电子设计等领域进行了广泛的应用。
在阿里云智能弹性计算用户实践专场,阿里云智能技术专家作了《SCC规格族:驱动制造工程仿真新未来》的演讲,对阿里云上的ebm(弹性物理服务器)和scc(高性能计算)实例家族进行了介绍:

  • 在神龙的加持之下,同属于物理服务器范畴的scc和ebm实例都可以接入到VPC虚拟网络中。
  • 都可以使用EBS弹性块存储服务提供的磁盘启动和存储数据。
  • 都可以选择GPU加速卡。
  • 高性能计算scc实例还可以使用低时延的50G/100G的RDMA网络。

最后,在客户有话说环节,请到了吉利汽车来介绍工程仿真高性能集群上云实践。

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
目录
相关文章
|
存储 人工智能 分布式计算
2021云栖大会丨阿里云发布第四代神龙架构,提供业界首个大规模弹性RDMA加速能力
10月20日,2021年杭州云栖大会上,阿里云发布第四代神龙架构,升级至全新的eRMDA网络架构,是业界首个大规模弹性RDMA加速能力。
2021云栖大会丨阿里云发布第四代神龙架构,提供业界首个大规模弹性RDMA加速能力
|
存储 资源调度 监控
|
9月前
|
存储 弹性计算 安全
云基础设施处理器CIPU 2.0技术解读
本文深入解读阿里云的CIPU(Cloud Infrastructure Processing Unit)技术,探讨其在云计算中的定位与价值。面对当前XPU命名泛滥的问题,阿里云为何选择CIPU这一名称?CIPU旨在解决云计算中的弹性、安全、稳定、性能和成本五大核心需求。通过对比DPU和IPU,CIPU更专注于云环境下的基础设施处理,确保数据的安全性、传输的可靠性和存储的稳定性。此外,文章还回顾了神龙计算的历史发展,强调CIPU2.0在提升性能、优化资源调度和满足大客户需求方面的进展。最终,CIPU作为手段,其核心目标是为客户提供更高性价比和更稳定的云服务。
|
安全 数据处理 云计算
阿里云神龙架构的背景
阿里云神龙架构的背景
|
12月前
|
存储 人工智能 弹性计算
AI计算加速渗透、基础设施全面升级…云栖大会重磅发布全览
AI计算加速渗透、基础设施全面升级…云栖大会重磅发布全览
|
存储 弹性计算 负载均衡
云计算演进问题之CIPU与神龙计算的关系如何解决
云计算演进问题之CIPU与神龙计算的关系如何解决
267 3
|
人工智能 云栖大会
2024云栖大会,我们来了!
2024云栖大会亮点介绍
395 1
|
弹性计算 安全 虚拟化
万字干货分享 | 阿里云CIPU技术解析
2022年6月,阿里云发布了云基础设施处理器CIPU(Cloud  Infrastructure Processing  Unit),将其定义为取代传统CPU的新一代云计算体系架构的核心。在这个全新体系架构下,CIPU向下对数据中心计算、存储、网络等底层基础设施快速云化并进行硬件加速,向上接入飞天云操作系统,将全球数百万台服务器构建为一台超级计算机,实现资源的灵活编排和调度,给用户提供高质量弹性云计算算力集群。
万字干货分享 | 阿里云CIPU技术解析
|
编解码 监控 调度
GPU实例使用--vGPU资源利用率的提升、监控与告警的实现
随着AI计算及云游戏为代表的图形渲染业务的飞速发展,越来越多的企业和个人开始使用GPU实例。同时,由于GPU算力资源成本较高,对于负载相对较小的业务,客户会更倾向于选择使用1/2或者1/4甚至更小的vGPU实例来运行其业务,vGPU技术随之得以迅速发展。
|
机器学习/深度学习 弹性计算 Cloud Native
阿里云神龙获2023年度CCF技术科技进步一等奖
阿里云神龙获2023年度CCF技术科技进步一等奖
553 0