《并行计算的编程模型》一2.2.1 相关术语

简介: 本节书摘来华章计算机《并行计算的编程模型》一书中的第2章 ,第2.2.1节, [(美)帕万·巴拉吉(Pavan Balaji)编著;张云泉等译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2.1 相关术语

本节详细介绍了GASNet使用规范及在本章常用的几个术语。读者可在阅读本章其他内容前将本节的相关术语介绍添加书签以作参考。

  • 客户端:使用GASNet的软件,通常是并行运行时系统而不是终端用户代码。
  • 管道:针对特定网络API的GASNet实现。比如,“mpi-conduit”和“udp-condu- it”是支持非本地模式平台上最大程度移植的实现。
  • 节点:GASNet所使用的“节点”术语表示一个O/S进程而不是网络端点。
  • 超节点:运行同一OS实例的节点集合。在支持的平台上,GASNet可以在这些节点组间进行共享内存通信。
  • 段:可作远程地址的虚拟地址范围(详见2.4节)。
  • 本地完成:当与初始化节点上的输入相关联的存储器可安全重用时。
  • 远程完成:当与输出相关的存储器完成写操作时。
相关文章
|
8月前
|
缓存 人工智能 芯片
拆开“超节点”的伪装:没有内存统一编址,仍是服务器堆叠
当万亿参数大模型成为常态,AI“军备竞赛”已升级为系统级对决。“超节点”应运而生,但真伪之别在于是否实现“内存统一编址”——唯有打破通信墙、构建全局地址空间,才能让集群如单机般高效协同。缺此核心,皆为伪超节点。
683 1
|
7月前
|
存储 缓存 自然语言处理
大模型应用:大模型运行全流程解析:从初始化加载→计算→结果输出.69
本文系统解析大模型推理全流程:从硬盘加载权重、CPU内存预处理、GPU显存计算,到自回归生成与自然语言解码。涵盖硬件协同(硬盘→内存→GPU)、软件步骤(分词、注意力、采样、后处理)及资源调度优化,揭示其软硬协同的本质。
1115 3
|
6月前
|
人工智能 运维 安全
|
6月前
|
人工智能 自然语言处理 安全
Windows 一键部署 OpenClaw 中文版(包含新安装包)|纯图形化操作,告别命令行黑框
不用代码、不用终端、不用手动配置,这款 OpenClaw 汉化一键安装包,全程图形界面,点下一步即可完成安装,小白也能轻松部署。
Windows 一键部署 OpenClaw 中文版(包含新安装包)|纯图形化操作,告别命令行黑框
|
人工智能 自动驾驶 云栖大会
大模型赋能智能座舱,NVIDIA 深度适配通义千问大模型
9月20日杭州云栖大会上, NVIDIA DRIVE Orin系统级芯片实现了与阿里云通义千问多模态大模型Qwen2-VL的深度适配。阿里云、斑马智行联合NVIDIA英伟达推出舱驾融合大模型解决方案,基于通义大模型开发“能听会看”的智能座舱助理,让车内人员通过语音交流就能操作座舱内的各类应用,享受极致丰富的交互体验。
1311 15
|
9月前
|
人工智能 自然语言处理 搜索推荐
2026AI 元年:智能体技术落地与产业应用变革白皮书
2026年被定义为AI智能体技术规模化落地元年。依托大模型技术成熟、工具生态完善与产业需求爆发,智能体实现从“文本生成”到“自主执行”的跨越,广泛应用于企业服务、智能制造、民生政务与个人生活,推动人机协同新范式,开启智能化发展新篇章。
5158 2
|
Arthas 数据可视化 Java
深入理解JVM《火焰图:性能分析的终极可视化利器》
火焰图是Brendan Gregg发明的性能分析利器,将复杂调用栈可视化为“火焰”状图形,直观展示函数耗时与调用关系。通过宽度识别热点函数,结合async-profiler或Arthas工具生成,助力快速定位CPU、内存等性能瓶颈,提升优化效率。
|
机器学习/深度学习 存储 资源调度
Transformer架构的简要解析
Transformer架构自2017年提出以来,彻底革新了人工智能领域,广泛应用于自然语言处理、语音识别等任务。其核心创新在于自注意力机制,通过计算序列中任意两个位置的相关性,打破了传统循环神经网络的序列依赖限制,实现了高效并行化与长距离依赖建模。该架构由编码器和解码器组成,结合多头注意力、位置编码、前馈网络等模块,大幅提升了模型表达能力与训练效率。从BERT到GPT系列,几乎所有现代大语言模型均基于Transformer构建,成为深度学习时代的关键技术突破之一。
1592 7
|
网络协议 安全 算法
路由协议(静态路由、RIP、OSPF、BGP)
本文介绍了四种常见的路由协议:静态路由、RIP、OSPF 和 BGP。静态路由由管理员手动配置,简单安全但缺乏动态性;RIP 是距离矢量协议,适合小型网络,实现简单但收敛慢且易产生环路;OSPF 基于链路状态算法,适用于中大型网络,快速收敛且无环路,但配置复杂;BGP 是路径矢量协议,主要用于自治系统间路由选择,策略性强、稳定性高,但配置难度大且依赖人工干预。根据网络规模和需求,可选择合适的路由协议。
1853 9
|
存储 网络协议 前端开发
这份RoCE、IB和TCP差异对比,没干10年网工,总结不出来。
这份RoCE、IB和TCP差异对比,没干10年网工,总结不出来。
1661 0