✨ 0. PCIe 6.0 概述
2019 年 5 月中旬 PCI-SIG 正式发布了 PCIe 5.0 的 1.0 版本后,便马不停蹄长驱直入进入了 PCIe 6.0 的预研阶段,并在 4 个半月后发布了 PCIe 6.0 的 0.3 版本。时隔两年,现如今 PCIe 6.0 的 0.9 版本已经发布,PCIe 6.0 正式版倚马可待(预计 2021 年底发布)。 (最新消息:确定了 2022 Q1 发布 )
跟 PCIe 5.0 相比,PCIe 6.0 主要有以下变化:
- 单 Lane 传输速率由 32 GT/s 变为 64 GT/s;
- 传输信号由 NRZ 两电平变为 PAM4 四电平;
- 编码方式由 128b/130b 变为 FLIT 编码;
- 引入了 FEC 前向纠错机制,并维持既有的 Retry 重传机制;
- LTSSM 新增加了 L0p 低功耗状态,允许部分 Lane Electric Idle、部分 Lane Active;
- 新加了几种机制:DOE、CMA、DMWr、IDE。
✨ 1. 速率 64 GT/s
单条传输线传输速率变为 64 GT/s 似乎在大家的预期之内,毕竟从 PCIe Gen1 到 Gen5 每次都是速率 Double。从 Gen5 的 32 GT/s 到 Gen6,按照惯性思维这次也该 64 GT/s 了。唯一让大家吃惊的是,Gen6 来得属实太快了。千千万万 PCIe 从业者,用都还没用过 PCIe 5.0,PCIe 6.0 便跃然眼前。
✨ 2. PAM4 信号
传输信号采用 PAM4 四电平信号有点出乎人的意料,毕竟从 Gen1 到 Gen5 一直用得是 NRZ 二电平信号。不过想想 PAM4 也合情合理,再用 NRZ,这高频 Clock 就太难了。接下来再怎么搞我有点头疼,用 PAM16 也太难了吧,眼图都要瞎掉了。
✨ 3. FLIT 编码
FLIT Mode,流控单元模式,是一种1b/1b的编码方式。之前是以 TLP 为单位进行事务传输,PCIe 6.0 以 FLIT 为单位进行事务传输,每个 FLIT 有 256 B 数据(格式如 式1),每 B 数据占用 4 UI。以 x8 为例,一次 FLIT 传输的格式如图 1 所示。
1 FLIT = 236 B TLP + 6 B DLP + 8 B CRC + 6 B FEC = 256 B
(式1)
每个 FLIT 可以包含多笔 TLP,每笔 TLP 也可以拆分到多笔 FLIT。FLIT 中有 6 B DLP 数据(非DLLP),其中前 2 B 是留给 FLIT ACK / NAK / Replay 用的,取代了 Gen5 中采用 DLLP 的 ACK / NAK 机制。以 x16为例,由于不需额外规划 DLLP 的发送,这种在 FLIT 中加入 DLP 的 ACK / NAK 机制把相关时延从 ms 级降到了50 ns 以内,成效可观。
只要开启了 FLIT Mode,即便数据速率从Gen6 调到 Gen1 ~ Gen5,仍然采用 FLIT 编码方式。
✨ 4. 纠错
PCIe 6.0 引入了 FEC 前向纠错机制,并维持既有的 Retry 重传机制。在 PCIe Gen5 中,当 CRC 校验检测到 TLP 传输出错时,采用 Retry 机制进行重传。考虑到重传时延 <300 ns 且重传概率低于 10^-5,其对传输性能影响甚微。在 PCIe Gen6 中,对 Latency 的要求为 10 ns,仅采用 Retry 机制无法满足需求。在综合考量了FBER、FIT、FLIT Retry 概率、带宽效率、Latency 及 FLIT 的 FEC 能力后,PCIe Gen6 最终采用了低权重 FEC + Retry 的纠错方案。
采用单 Symbol 的 FEC 纠错机制,可以将 FLIT 解码时间压缩到 2 ns 以内。
✨ 5. L0p 低功耗
如何实现更低功耗是个避不开的问题,PCIe 6.0 在既有低功耗状态 L0 / L0s / L1 / L2 基础上再加一个状态 L0p。PCIe 6.0 允许部分 Lane 进入 Electric Idle 状态、部分 Lane Active 仍然保持不中断的业务传输。当 Idle 状态的 Lane 想要重新 Active 时,只对这些 Lane 进行 Traning 握手,之前 Active 的 Lane 仍保持数据传输不间断。
✨ 6. 新的机制
PCIe 6.0 新加了几种机制:DOE、CMA、DMWr、IDE,删掉了 LN。
📚 参考
PCI-SIG, “PCI Express base specification revision 6.0, version 0.9,” Beaverton, OR, USA, Oct 5, 2021.
D. Das Sharma, “PCI Express 6.0 Specification: A Low-Latency, High-Bandwidth, High-Reliability, and Cost-Effective Interconnect With 64.0 GT/s PAM-4 Signaling,” in IEEE Micro, vol. 41, no. 1, pp. 23-29, 1 Jan.-Feb. 2021, doi:
10.1109/MM.2020.3039925.
D. D. Sharma, “A low latency approach to delivering alternate protocols with coherency and memory semantics using PCI Express® 6.0 PHY at 64.0 GT/s,” 2021 IEEE Symposium on High-Performance Interconnects (HOTI), 2021, pp. 35-42, doi: 10.1109/HOTI52880.2021.00019.