看云栖说云栖——神龙、含光、擎天、云超算

简介: 说说以神龙为代表的阿里云计算资源

遥远的东方有一条神龙,它不仅可以在天空(计算)、大地(存储)、海洋(网络)间自由穿梭,还能够在虚拟和现实之间幻化自如。

数据中心三大资源分别是计算、存储、网络,这次就让我们先聊一聊阿里云的计算基础设施,相关的内容来自杭州云栖大会2019以下三个专场:

  • 阿里云智能弹性计算专场
  • 阿里云异构计算专场
  • 阿里云智能弹性计算用户实践专场

在阿里云,神龙是计算资源的代表,阿里云及阿里巴巴经济体的百万台服务器都要统一到神龙架构下。
1.jpg
(图片来自于2019杭州云栖大会公开脱敏胶片)

世界上有两种云服务商:一种是有裸金属服务的,一种是没有裸金属服务的。所谓的裸金属就是直接提供物理服务器硬件给上层操作系统和应用。神龙就是阿里云提供裸金属计算服务的基础。

服务器虚拟化是云服务商进行大规模资源管理和分配的利器,可以说,没有虚拟化就没有今天云计算的发展,但总有一些应用场景是不太适合使用服务器虚拟化的,例如容器集群、深度学习、高性能计算,这样的场景越来越多。但直接提供物理服务器对云服务商的资源调度管理将带来严重挑战,这种挑战还不仅在于资源的初始化和重新分配方面,还在于需要同时保有虚拟化和物理机两个资源池,难免会出现闲置和不足同时发生的情况,另外,物理服务器对云服务商围绕虚拟化平台而构建起来的各种存储、计算资源的访问也会出现这样或者那样的问题。

神龙就是阿里云解决上述一切问题的答案,以下是第二代神龙的架构,这也是阿里巴巴生态体正在采用的一代架构。

2.jpg

(图片来自于2019杭州云栖大会公开脱敏胶片)

神龙架构包含软件和硬件两部分:

  • Dragonfly Hypervisor虚拟化层、是阿里云为神龙定制的服务器虚拟化系统,具有超轻薄(内存<1MB/VM),资源“零损耗”(CPU<0.1%);超平稳、性能“零抖动”(计算平稳性:99.9999%);超平滑,兼容原架构(兼容KVM架构,支持虚拟机互迁移)的特点。
  • 神龙板卡、不仅支持为虚拟机提供存储、网络资源还支持为物理服务器提供EBS弹性块存储和VPC网络支持,并提供远超物理硬件的存储和网络QOS保障能力。

在神龙服务器上运行容器平台,可在高负载场景下依然保证较低的网络和存储延时:

3.jpg

(图片来自于2019杭州云栖大会公开脱敏胶片)

神龙自从2017年发布以来,保持每年更新一代的迭代速度,在这次杭州云栖大会上,将发布第三代神龙。
4.jpg

(图片来自于2019杭州云栖大会公开脱敏胶片)

第三代神龙将更多的存储和网络IO功能加入到神龙芯片中,实现了更低的时延和性能抖动。
5.jpg

(图片来自于2019杭州云栖大会公开脱敏胶片)

说完了神龙,让我们来到阿里云异构计算分论坛,所谓的异构计算讨论的是除了CPU之外的其他计算单元,包括GPU、FPGA、也包括在这次大会上发布的含光800(NPU)。
阿里云的NPU芯片的定位是面向在线推理领域,在杭州城市大脑的应用场景下,4张含光800NPU卡所处理的主城区实时交通视频需要40张 GPU卡方可处理,使用NPU的延时是150ms而GPU的延时为300ms。
在淘宝网拍立淘场景下,10亿张图片的识别使用GPU下需要1个小时,而使用NPU只需要5分钟,效率提升了12倍
搭载含光800NPU的服务器实例AN1已经开始公测,号称性价比提升100%。
除了自研的NPU芯片,在这次云栖大会上还发布了擎天加速引擎:Ali-Perseus。
这是一个统一加速框架,可以让Tensorflow、Caffe、MXNET、PyTorch这些深度学习框架在阿里云上跑的更好,按照演讲者的说法就是可以让A级车有B级车的感受,让B级车跑出C级车的效果,至于实际表现,阿里云请到了小米的工程师以小爱老师作为应用案例进行现身说法。
在擎天加速引擎之外,在异构计算分论坛还发布了异构加速资源池。这个异构加速资源池希望解决异构计算场景下的以下这些问题:

  • 异构资源利用率低、要么是GPU卡闲置,要么是GPU的算力无法得到充分使用。
  • 资源碎片浪费、在大规模的异构集群调度场景下,因为GPU和CPU的配比问题而导致无法充分使用零散的碎片资源,导致浪费。
  • 系统可靠性难题、当出现故障时无法优雅的迁移当前任务。
  • AI芯片种类繁多适配难、在这个世界上的AI相关芯片实在是太多了。

在阿里云内部的开放测试环境中,通过引入异构加速资源池实现了GPU的高利用率,甚至超卖,在开发测试环境学生实习实训环境,能够进行GPU超卖可以显著降低这些环境对GPU资源的需求,从而降低了系统的总体成本。

说到对资源的充分利用,HPC高性能计算环境绝对有着最为迫切的需求。因为集群的管理和调度问题,一般的高性能计算集群的利用率能够到30%已经是非常好的了,为了解决这一问题,当年笔者还参与过一些HPC高性能计算集群的云化科研项目,在勘探和空气动力学领域都进行过一些尝试,勘探领域的问题是数据吞吐的问题,而在空气动力学领域是节点之间协同的问题。现在有了神龙,既能满足这些HPC环境对极致吞吐和稳定时延的要求,又能实现高效敏捷的管理和运维,阿里云基于神龙推出的E-HPC高性能计算服务已经在包括工业制造、地址勘探、生物医药、气候气象、电子设计等领域进行了广泛的应用。
在阿里云智能弹性计算用户实践专场,阿里云智能技术专家作了《SCC规格族:驱动制造工程仿真新未来》的演讲,对阿里云上的ebm(弹性物理服务器)和scc(高性能计算)实例家族进行了介绍:

  • 在神龙的加持之下,同属于物理服务器范畴的scc和ebm实例都可以接入到VPC虚拟网络中。
  • 都可以使用EBS弹性块存储服务提供的磁盘启动和存储数据。
  • 都可以选择GPU加速卡。
  • 高性能计算scc实例还可以使用低时延的50G/100G的RDMA网络。

最后,在客户有话说环节,请到了吉利汽车来介绍工程仿真高性能集群上云实践。

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
目录
相关文章
|
机器学习/深度学习 人工智能 开发工具
如何快速部署本地训练的 Bert-VITS2 语音模型到 Hugging Face
Hugging Face是一个机器学习(ML)和数据科学平台和社区,帮助用户构建、部署和训练机器学习模型。它提供基础设施,用于在实时应用中演示、运行和部署人工智能(AI)。用户还可以浏览其他用户上传的模型和数据集。Hugging Face通常被称为机器学习界的GitHub,因为它让开发人员公开分享和测试他们所训练的模型。 本次分享如何快速部署本地训练的 Bert-VITS2 语音模型到 Hugging Face。
如何快速部署本地训练的 Bert-VITS2 语音模型到 Hugging Face
|
缓存 运维 负载均衡
阿里云运维架构实践秘籍
1. 中国互联网发展编年史 2. 运维 3. 不同云盘单路随机写访问响应时间对比 4. 常见数据库性能对比 5. 常见衡量业务量级别指标 6. 如何根据PV估算服务器数量? 7. 不同业务特性计算模型 8. PV量和服务器配置/RDS配置对应表 9. 服务器CPU/内存配置模型 10. 云盘空间选择 11. 宽带的选择 12. 共享文件存储的方法 13. OSS文件管理 14. OSS数据迁移 15. 缓存 16. Session管理六种策略 17. 分库分表 18. 云迁移步骤 19. 监控方案 20. 云端安全 21. 架构阶段
1532 0
阿里云运维架构实践秘籍
|
8月前
|
存储 人工智能 缓存
阿里云服务器计算型、通用型、内存型主要实例规格技术架构、性能亮点、适用场景解析与选型指南
阿里云服务器ECS的计算型、通用型、内存型实例,独享云服务器资源,在高负载下可避免资源争夺。计算型实例采用高性能处理器架构,适用于AI训练、科学计算等场景,有c9a、c9i等实例类型。通用型实例适合Web应用、数据分析等场景,内存型实例则专为内存密集型应用设计,如大型数据库、实时数据分析。选型时,需考虑应用场景、成本预算,可用阿里云性能测试PTS工具验证,确保实例持续支撑业务增长。
|
9月前
|
监控 Android开发 虚拟化
阿里云无影云手机快速入门及使用流程(图文教程)
阿里云无影云手机是基于云端的虚拟安卓设备,依托ARM虚拟化技术,支持移动办公、游戏、企业营销等场景。用户可通过电脑或平板远程操控,实现不发热、不断电、不占本地资源的流畅体验。支持批量管理、多设备控制及高安全性策略,如网络监控与实时审计。
1738 6
|
物联网 5G API
怎么在三大运营商中选择物联网卡
在选择物联网卡(IoT卡)的运营商时,您需要考虑几个关键因素,包括网络覆盖、服务质量、价格、功能需求以及后续的技术支持等。中国的三大主要运营商是中国移动、中国联通和中国电信,它们各自在物联网领域有不同的优势和特点。以下是一些建议,帮助您在这三者之间做出选择:
|
监控 数据处理
在使用LabVIEW控制多个串口设备进行数据读取时,读取时间过长
在使用LabVIEW控制多个串口设备进行数据读取时,读取时间过长
712 0
|
Java 数据处理 数据库
Java一分钟之-Spring Batch:批量处理框架
【6月更文挑战第11天】Spring Batch是Spring家族的批处理框架,简化了批量处理任务的开发。它包含Job、Step、ItemReader、ItemProcessor和ItemWriter等核心组件,用于构建数据处理流程。本文讨论了批量处理中的常见问题,如内存溢出、事务管理和异常处理,并提供了相应的解决策略。通过添加相关依赖、定义Job和Steps,以及启动Job的示例代码,帮助开发者开始使用Spring Batch。了解其核心概念和最佳实践,能提升批量处理系统的效率和可靠性。
724 4
|
存储 弹性计算 对象存储
ECS快照原理
云盘快照原理包括全量和增量快照。首次快照为全量,备份所有数据块;后续快照仅备份变化部分。快照存储在OSS中,同城冗余或本地冗余根据地域不同而定。删除快照时,按数据块引用关系释放空间。快照容量基于快照链统计,全量快照加所有增量大小。快照不占用云盘空间,但产生存储费用。
|
存储 KVM 虚拟化
倚天虚拟化:虚拟机热迁移特性介绍
热迁移分为热迁移和冷迁移,冷迁移过程中有一段明显的时间VM的服务不可用,而热迁移的服务的服务暂停时间非常短。热迁移过程中无需关闭或者长时间暂停VM,VM保持正常运行,只有在热迁移临近结束时有一个非常短暂的停机切换时间。热迁移可保证了VM服务的可用性,提升业务的连续性和用户体验。
4292 1