软件设计师之计算机组成原理与体系结构(3)流水线技术(重要)

简介: 软件设计师之计算机组成原理与体系结构(3)流水线技术(重要)

流水线技术(重要)


  • 基本概念


微信图片_20211229122242.png


  • 流水线-流水线计算


微信图片_20211229122347.png


  • 例题:若指令流水线把一条指令分为取值、分析和执行三部分,且三部分的时间分别是取值2ns,分析2ns,执行1ns。那么流水线周期是多少?100条指令全部执行完毕需要的时间是多少?


  • 流水线周期位执行时间最长的一段,为2ns
  • 100条指令的全部执行完毕需要的时间为2+2+1+2 * 99 = 203;而实际的为(3+99)* 2 = 204;这两个答案没有一定的,但是大概率是理论公式;


  • 流水线-流水线吞吐率计算


  • 流水线的吞吐率(Though Put rate,TP)是指在单位时间内流水线所完成的任务数量或输出的结果数量。计算流水线吞吐率的最基本的公式如下:


微信图片_20211229122552.png


  • 流水线最大吞吐率:


微信图片_20211229122632.png


以上面的例题为例:TP=100/ 203; TPmax = 1/Δ t;


  • 流水线-流水线的加速比


  • 完成同样一批任务,不适用流水线所用的时间 与使用流水线所用的时间之比称为流水线的加速比。计算流水线加速比的基本公式如下:


微信图片_20211229122712.png


同样是上面的例题为例:S= 500/203;加速比是越高越好。


  • 流水线-流水线的效率


  • 流水线的效率是指流水线的设备利用率,在时空图上,流水线的效率定义为n个任务占用的时空区与k个流水段总的时空区之比。


微信图片_20211229122817.png


E = (Δt + Δ tΔ + Δt + 3Δt) * 4 / (15Δt * 4 )

相关文章
|
5月前
|
负载均衡 测试技术 调度
大模型分布式推理:张量并行与流水线并行技术
本文深入探讨大语言模型分布式推理的核心技术——张量并行与流水线并行。通过分析单GPU内存限制下的模型部署挑战,详细解析张量并行的矩阵分片策略、流水线并行的阶段划分机制,以及二者的混合并行架构。文章包含完整的分布式推理框架实现、通信优化策略和性能调优指南,为千亿参数大模型的分布式部署提供全面解决方案。
1401 4
|
存储
【软考:软件设计师】 2 计算机组成与体系结构(二)详解指令系统 | 指令流水线
【软考:软件设计师】 2 计算机组成与体系结构(二)详解指令系统 | 指令流水线
678 0
|
机器学习/深度学习 人工智能 PyTorch
DeepSeek开源周第四弹之一!DualPipe:训练V3/R1的双向流水线并行技术,计算与训练完全重叠,训练效率提升200%
DeepSeek 开源的 DualPipe 技术通过双向流水线并行设计,显著提升大规模深度学习模型的训练效率,优化计算与通信重叠,降低内存峰值需求,适用于推理加速、多模态数据处理等场景。
901 1
DeepSeek开源周第四弹之一!DualPipe:训练V3/R1的双向流水线并行技术,计算与训练完全重叠,训练效率提升200%
|
机器学习/深度学习 人工智能 自然语言处理
AI顶会ICLR 2022 | WPipe 蚂蚁集团大规模 DNN 训练的流水线并行技术
AI顶会ICLR 2022 | WPipe 蚂蚁集团大规模 DNN 训练的流水线并行技术
1215 0
AI顶会ICLR 2022 | WPipe 蚂蚁集团大规模 DNN 训练的流水线并行技术
|
存储 缓存 Windows
软件体系结构 - 流水线技术
软件体系结构 - 流水线技术
689 0
【中级软件设计师】—(针对上午题)指令流水线(十七)
【中级软件设计师】—(针对上午题)指令流水线(十七)
【中级软件设计师】—(针对上午题)指令流水线(十七)
|
关系型数据库 分布式数据库 数据库
polardb里面的wal流水线技术的优势是什么
polardb里面的wal流水线技术的优势是什么
149 1
|
监控 jenkins Java
持续集成/技术交付全流程流水线工具的设计与落地
持续集成/技术交付全流程流水线工具的设计与落地
384 0
|
存储
MOTOROLA VME172PA-652SE 复杂程度的计算机流水线指令
MOTOROLA VME172PA-652SE 复杂程度的计算机流水线指令
210 0
MOTOROLA VME172PA-652SE 复杂程度的计算机流水线指令

热门文章

最新文章