认识HBM vs. HMC:颠覆性能的两种服务器内存类型

简介:

数据中心硬件买家可以评估两种新兴的服务器类型内存,搭建未来高性能系统。

高带宽内存(HBM)是一种用于支持内存设备数据吞吐量的高性能接口,其性能远超常规形式的内存。

混合存储立方(HMC)技术带来远超传统高带宽内存设计的性能,如双倍数据率三代与四代(DDR3和DDR4),但是这两种方法采用的技术不同,它们对服务器内存性能的提升也有所不同。

高带宽内存的未来服务器

HBM的思路十分直接:让内存设备靠近CPU或GPU。当前的计算机设计一般会通过将内存模块安装在主板的插槽上,隔离内存与计算芯片。这类型的服务器内存受到了时钟率的限制,阻碍每个时钟周期数据的可传输量。

HBM方法将内存芯片堆叠到一个矩阵里,接着将处理器与内存堆叠组合在一起,形成一个基本组件,然后将其安装到服务器主板上。

HBM栈并不是物理上与CPU和GPU集成,而是采用载板。然而,相关支持的半导体制造商如AMD表示,HBM方案与在处理器上集成存储器的方案没有太大区别。

因此,HBM到底有哪些优势?HBM模块可以在极低的频率与更少的能耗下提供远超常规内存的带宽。例如,根据AMD的研究,一个典型的图形DDR5包使用32位总线,在1,750MHz,1.5伏电压下,最高带宽为28GB每秒。一个HBM包使用1,024位总线,只需要500MHz,1.3V电压,就能达到超过100GB的带宽。而且,HBM提供了与CPU或集成GPU支持服务器的多功能性。未来服务器可能会出现HBM同时服务CPU和GPU的情况。

混合存储立方如何影响未来服务器?

传统服务器内存类型,如DIMM,使用服务器主板上的并行接口连接独立芯片。混合存储立方与之相反,通过堆叠存储芯片到垂直组件,创建3-D阵列的串行内存访问。这些阵列增加了一个逻辑层来管理内存,而且服务器制造商可以在每个处理器附近安装这个组件。这种近内存或短距离设计是比较常见的,而且能够提供比标榜低功耗的远距离内存架构提供更高的性能。

混合存储立方可以最多连接8个包。根据HMC联合会,也就是推动该标准的供应商组织声称,HMC能够提供DDR3内存设备15倍的带宽,节约70%的能耗并且物理尺寸仅为其90%。例如,美光的2GB与4GB HMC产品技术号称带宽能达到120GB和160GB。HMC产品现已上市,而且像Intel的Xeon Phi图形协处理器采用HMC技术,能比GDDR5内存设备提升约50%的内存吞吐量。

HMC与HBM互相竞争,两种技术不兼容。
本文转自d1net(转载)

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
相关文章
|
3月前
|
弹性计算 安全 API
阿里云轻量应用服务器部署OpenClaw龙虾教程:成本38元+7.9元Coding Plan图文教程
阿里云轻量应用服务器(38元/年)+百炼Coding Plan(7.9元首月),三步极速部署OpenClaw:选镜像→配API Key→接入微信/QQ/钉钉/飞书等多平台,安全省电、成本极低,新手友好!
1773 5
|
Python
Python满屏飘字表白完整代码
Python满屏飘字表白完整代码
3220 1
|
机器学习/深度学习 Web App开发 编解码
最高增强至1440p,阿里云发布端侧实时超分工具,低成本实现高画质
近日,阿里云机器学习PAI团队发布一键端侧超分工具,可实现在设备和网络带宽不变的情况下,将移动端视频分辨率提升1倍,最高可增强至1440p,将大幅提升终端用户的观看体验,该技术目前已在优酷、夸克、UC浏览器等多个APP中广泛应用。
最高增强至1440p,阿里云发布端侧实时超分工具,低成本实现高画质
|
11月前
|
关系型数据库 分布式数据库 数据库
阿里云PolarDB数据库蝉联SIGMOD最佳论文奖
阿里云PolarDB凭借全球首创基于CXL Switch的分布式内存池技术,在SIGMOD 2025上荣获工业赛道“最佳论文奖”,连续两年蝉联该顶会最高奖项。其创新架构PolarCXLMem打破传统RDMA技术瓶颈,性能提升2.1倍,并已落地应用于内存池化场景,推动大模型推理与多模态存储发展,展现CXL Switch在高速互联中的巨大潜力。
阿里云PolarDB数据库蝉联SIGMOD最佳论文奖
|
11月前
|
人工智能 程序员 开发工具
通义灵码 2.5:我用一句话,给女朋友做了个软件
通义灵码 2.5,支持通过一句话生成可运行的完整应用。用户只需描述需求,如“提醒上下班打卡”,工具即可自动生成代码、安装脚本、打包文件,并创建桌面快捷方式和后台运行设置,极大简化了开发流程。整个过程几乎无需手动编码,让创意快速落地为实际应用。
|
11月前
|
机器学习/深度学习 人工智能 机器人
Meta AI Research:虚拟/可穿戴/机器人三位一体的AI进化路径
本文阐述了我们对具身AI代理的研究——这些代理以视觉、虚拟或物理形式存在,使其能够与用户及环境互动。这些代理包括虚拟化身、可穿戴设备和机器人,旨在感知、学习并在其周围环境中采取行动。与非具身代理相比,这种特性使它们更接近人类的学习与环境交互方式。我们认为,世界模型的构建是具身AI代理推理与规划的核心,这使代理能够理解并预测环境、解析用户意图及社会背景,从而增强其自主完成复杂任务的能力。世界建模涵盖多模态感知的整合、通过推理进行行动规划与控制,以及记忆机制,以形成对物理世界的全面认知。除物理世界外,我们还提出需学习用户的心理世界模型,以优化人机协作。
816 3
|
前端开发 JavaScript Java
谷粒商城笔记+踩坑(3)——商品服务-三级分类、网关跨域
商品服务-三级分类增删改查、跨域问题、逻辑删除
|
前端开发 Java Spring
掌握@ControllerAdvice配合RequestBodyAdvice/ResponseBodyAdvice使用,让你的选择不仅仅只有拦截器【享学Spring MVC】(中)
掌握@ControllerAdvice配合RequestBodyAdvice/ResponseBodyAdvice使用,让你的选择不仅仅只有拦截器【享学Spring MVC】(中)
掌握@ControllerAdvice配合RequestBodyAdvice/ResponseBodyAdvice使用,让你的选择不仅仅只有拦截器【享学Spring MVC】(中)
|
存储 安全 网络安全
【考研必备二】解开“黑匣子”的神秘面纱,透视数字世界底层实现过程(计算机组成原理)(下)
【考研必备二】解开“黑匣子”的神秘面纱,透视数字世界底层实现过程(计算机组成原理)
|
SQL 存储 机器学习/深度学习
分布式系统开发实战:分布式计算,分布式计算常用技术
分布式计算就是将一个大的计算任务分解成多个小任务,然后分配给多台计算机分别计算,再上传运算结果后统一合并得出数据结论。本章详细介绍分布式计算。

热门文章

最新文章