利用iWARP/RDMA解决以太网高延迟

简介: 导读:“iWARP能够带来超低延迟。”据介绍,RDMA,即远程直接内存访问提供了应用程序到应用程序的直接通信能力,这也就意味着,应用将跳过操作系统,实现远程内存应用程序的访问 关键词: iWARP 低延迟 IDF 以太网 “以太网交换是存储转发的,这会浪费宝贵的时间。

导读:“iWARP能够带来超低延迟。”据介绍,RDMA,即远程直接内存访问提供了应用程序到应用程序的直接通信能力,这也就意味着,应用将跳过操作系统,实现远程内存应用程序的访问

关键词: iWARP 低延迟 IDF 以太网

“以太网交换是存储转发的,这会浪费宝贵的时间。”

“以太网采用TCP/IP,TCP/IP处理太慢。”

“以太网需要经过太多交换机,延迟在毫秒级而我需要微秒级。”

以太网是否能够低延迟服务?,英特尔产品线精力Tom Stachure表示,以太网并非是天生低延迟的,以太网的延迟来自于多个方面的延迟的“快速积累”,包括应用处理、操作系统开销、网络处理、IO处理、 线路延迟、交换机的端口到端口延迟、线路延迟的积累造成了以太网的高延迟,尤其是当这些延迟会汇聚到最终的总交换机上,汇聚的端口到端口的延迟已经非常明 显。

针对业界对以太网的高延迟看法,Tom Stachure表示,以太网能够通过很多办法提高延迟,达到低延迟网络的需求,其中,TCP可以针对HPC应用作优化并且可由硬件实现,同时,iWARP作为一种通过以太网做RDMA的解决方案,能够实现同Infiniband同样的RDMA特性,通过RDMA来跳过操作系统;与此同时,当针对延迟做调优之后,万兆以太网能够提供个位微秒级的延迟,并达到2GB IO带宽,且万兆交换机正在逐步上市。

Tom Stachure在专题讲座中介绍了英特尔针对高性能计算的万兆以太网产品,并表示这些产品已经或将在一些全球高性能计算TOP500的系统中采用:

英特尔的板载万兆以太网芯片很可能将会冲击包括Emulex、QLogic在内的供应商,此前,根据Dell'Oro集团最新发表的报告,板载万兆以太局域网(LOM)出货量预计在2009年底将超过万兆网卡的出货量

他着重介绍了英特尔的万兆以太网iWARP NetEffect服务器集群适配卡——支持通过以太RDMA。“iWARP能够带来超低延迟。”据介绍,RDMA,即远程直接内存访问提供了应用程序到 应用程序的直接通信能力,这也就意味着,应用将跳过操作系统,实现远程内存应用程序的访问,同时,通过把数据直接放到应用程序的缓存,RDMA有效的降低 了延迟,更关键的是,据Tom介绍,iWARP是通过以太网和TCP/IP做RDMA,能够有效保证现有网络的利用。

在2009年以前,以太网连接是主要限制HPC系统效率的重要原因,因此很多HPC使用更加昂贵的Infiniband,但随着低延迟万兆以太网的技术成熟,未来很可能以太网会扭转这一趋势。

针对iWARP的性能,Tom通过展示资料表示,万兆的iWARP的性能呈现线性增长,可提供和基于Infiniband的超级计算相媲美的性能,而在高性能计算集群中,iWARP通过万兆架构,能够减少网络端口数、连接线、交换机数接近一半。

rhel调时区

目录
相关文章
|
6月前
|
存储 网络协议 数据中心
|
6月前
|
人工智能 缓存 调度
技术改变AI发展:RDMA能优化吗?GDR性能提升方案(GPU底层技术系列二)
随着人工智能(AI)的迅速发展,越来越多的应用需要巨大的GPU计算资源。GPUDirect RDMA 是 Kepler 级 GPU 和 CUDA 5.0 中引入的一项技术,可以让使用pcie标准的gpu和第三方设备进行直接的数据交换,而不涉及CPU。
135957 6
|
Linux Anolis 异构计算
关于远程直接内存访问技术 RDMA 的高性能架构设计介绍
本文介绍 RDMA 技术的基本原理及交流在工程上的设计思路。
|
机器学习/深度学习 网络协议 异构计算
浅析GPU通信技术(下)-GPUDirect RDMA
目录 浅析GPU通信技术(上)-GPUDirect P2P 浅析GPU通信技术(中)-NVLink 浅析GPU通信技术(下)-GPUDirect RDMA 1. 背景         前两篇文章我们介绍的GPUDirect P2P和NVLink技术可以大大提升GPU服务器单机的GPU通信性...
26147 0
|
2月前
|
存储 机器学习/深度学习 并行计算
GPU通信互联技术:GPUDirect、NVLink与RDMA
在高性能计算和深度学习领域,GPU已成为关键工具。然而,随着模型复杂度和数据量的增加,单个GPU难以满足需求,多GPU甚至多服务器协同工作成为常态。本文探讨了三种主要的GPU通信互联技术:GPUDirect、NVLink和RDMA。GPUDirect通过绕过CPU实现GPU与设备直接通信;NVLink提供高速点对点连接和支持内存共享;RDMA则在网络层面实现直接内存访问,降低延迟。这些技术各有优势,适用于不同场景,为AI和高性能计算提供了强大支持。
|
3月前
|
SQL 存储 分布式计算
神龙大数据加速引擎MRACC问题之RDMA技术帮助大数据分布式计算优化如何解决
神龙大数据加速引擎MRACC问题之RDMA技术帮助大数据分布式计算优化如何解决
55 0
|
缓存 人工智能 算法
Nvidia_Mellanox_CX5和6DX系列网卡_RDMA_RoCE_无损和有损_DCQCN拥塞控制等技术简介-一文入门RDMA和RoCE有损无损
Nvidia_Mellanox_CX5和6DX系列网卡_RDMA_RoCE_无损和有损_DCQCN拥塞控制等技术简介-一文入门RDMA和RoCE有损无损
1262 0
|
6月前
|
人工智能 弹性计算 缓存
带你读《弹性计算技术指导及场景应用》——2. 技术改变AI发展:RDMA能优化吗?GDR性能提升方案
带你读《弹性计算技术指导及场景应用》——2. 技术改变AI发展:RDMA能优化吗?GDR性能提升方案
211 1
|
弹性计算 人工智能 网络协议
揭秘!CIPU最新秘密武器–弹性RDMA的技术解析与实践
弹性RDMA(Elastic Remote Direct Memory Access,简称eRDMA),是阿里云自研的云上弹性RDMA网络,底层链路复用VPC网络,采用全栈自研的拥塞控制CC(Congestion Control )算法,兼具传统RDMA网络高吞吐、低延迟特性,同时支持秒级的大规模RDMA组网。基于弹性RDMA,开发者可以将HPC应用软件部署在云上,获取成本更低、弹性更好的高性能应用集群;也可以将VPC网络替换成弹性RDMA网络,加速应用性能。
揭秘!CIPU最新秘密武器–弹性RDMA的技术解析与实践
|
弹性计算 人工智能 算法
阿里云徐成:CIPU最新秘密武器-弹性RDMA的技术解析与实践|阿里云弹性计算技术公开课直播预告
弹性RDMA(Elastic Remote Direct Memory Access,简称eRDMA),是阿里云自研的云上弹性RDMA网络,底层链路复用VPC网络,采用全栈自研的拥塞控制CC(Congestion Control )算法,兼具传统RDMA网络高吞吐、低延迟特性,同时支持秒级的大规模RDMA组网。基于弹性RDMA,开发者可以将HPC应用软件部署在云上,获取成本更低、弹性更好的高性能应用集群;也可以将VPC网络替换成弹性RDMA网络,加速应用性能。