《并行计算的编程模型》一3.9 未来方向

简介: 本节书摘来华章计算机《并行计算的编程模型》一书中的第3章 ,第3.9节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.9 未来方向

在本书写作之时,从2010年开始,在对OpenSHMEM的大量需求驱动下,与OpenSHMEM相关的许多开发正在进行中。如3.2节所述,一些厂商已发布了加速硬件和固件来支持网络原语,在超大规模系统和商用系统中极大简化了OpenSHMEM的实现并提高了性能和鲁棒性。这包括对OpenSHMEM集合和原子内存操作的硬件支持、对小消息性能提高的硬件支持、以及对大规模系统互连自适应路由和阻塞管理的硬件支持。OpenSHMEM论坛和邮件列表建议采用来自Quadrics实现的扩展,包括非常有用的非阻塞原语以及其他API的改进。此外,还建议采用扩展的原子操作集,包括位操作(即SHIFT、AND、OR、XOR)、逻辑操作及MIN/MAX操作。这些改进很大可能会在目前正由美国能源部和国防部设计的百亿亿次系统中实现。
3.2节提到的OpenSHMEM软硬件协同设计的副产品是使用OpenSHMEM(或其他PGAS编程模型)在超大规模系统中移动数据的能耗要远少于一般没有解藕数据移动和同步的消息传送方法。因为能耗将是未来系统主要约束之一,这将对未来互连设计生存能力产生重大影响,也会是很多超大规模系统的限制因素。
在未来能使百亿亿次计算成为可能的技术中,内存和网络是目前硬件改进的主要聚焦所在,强调协同设计支持通过OpenSHMEM的活跃消息,扩展了编程模型,使其允许根据移动所需的开销(时间或能耗)将计算移动给数据或数据移动给计算。虽然这方面的研究还在初始阶段,希望很快能有额外的硬件和固件能力使其实现。这种数据移动机器的基础也在OpenSHMEM的未来考虑中——尤其是因为在本书写作之时,只提升硬件本身基本不可能满足能源部百亿亿次计算计划提出的20MW的功耗限制。OpenSHMEM协同设计的深厚历史能继续协助减轻前进道路上的困难。

相关文章
|
机器学习/深度学习 人工智能 并行计算
深度学习设计的衍射处理器并行计算数百个变换
深度学习设计的衍射处理器并行计算数百个变换
深度学习设计的衍射处理器并行计算数百个变换
|
安全 算法 量子技术
简述量子计算相关的技术分类与可扩展方向(二)
简述量子计算相关的技术分类与可扩展方向
134 0
|
机器学习/深度学习 人工智能 并行计算
神经网络推理加速入门——异构编程
异构编程,就像是性能提升的外挂,一个芯片不够,那就两个,两个不够,那就四个。
神经网络推理加速入门——异构编程
|
机器学习/深度学习 存储 算法
GNN落地不再难,一文总结高效GNN和可扩展图表示学习最新进展
GNN落地不再难,一文总结高效GNN和可扩展图表示学习最新进展
278 0
|
机器学习/深度学习 算法 数据挖掘
机器学习特性缩放的介绍,什么时候为什么使用
机器学习特性缩放的介绍,什么时候为什么使用
168 0
机器学习特性缩放的介绍,什么时候为什么使用
|
并行计算 API
《并行计算的编程模型》一2.5.1 GASNet工具
本节书摘来华章计算机《并行计算的编程模型》一书中的第2章 ,第2.5.1节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1009 1
|
并行计算 API
《并行计算的编程模型》一2.7 未来方向
本节书摘来华章计算机《并行计算的编程模型》一书中的第2章 ,第2.7节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1000 0
|
并行计算 算法 API
《并行计算的编程模型》一导读
对于正在编程的程序员,编程模型可被看作一台虚拟机,并可通过编程语言和函数库实现。如果某个编程模型成为计算机科学研究中的热点,需要具有以下特性:高效性(易于描述各种抽象算法)、移植性(兼容各种硬件计算平台)、高性能(高效均衡地利用硬件平台的计算能力)、通用性(广泛地描述各种算法)。
3407 0
|
并行计算
《并行计算的编程模型》一1.3 点对点通信
本节书摘来华章计算机《并行计算的编程模型》一书中的第1章 ,第1.3节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1337 0
|
并行计算
《并行计算的编程模型》一1.11 总结
本节书摘来华章计算机《并行计算的编程模型》一书中的第1章 ,第1.11节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1048 0
下一篇
无影云桌面