1. DMWr 简介

1.1 DMWr 是什么？

DMWr，全称 Deferrable Memory Write，可延迟的内存写入，是一种新的 PCIe TLP 类型。CXL 1.1 中就已经有 Deferrable Writes 了，正式出现在 PCIe 协议中是 PCIe 6.0。

可延迟的内存写入，顾名思义，Completer 在收到 DMWr 后，可以选择立即执行，也可以选择延迟执行。相比于转发请求 MWr，DMWr 是非转发请求（NPR），无论请求是否被执行，Completer 都应根据完成情况回复指定状态的 Completion。

1.2 为何需要 DMWr ？

DMWr 的设计初衷是实现一种有效的软硬件接口控制机制。在 DMWr 出现之前，为了实现软硬件交互，每个进程都需要一份单独的硬件逻辑进行处理，且每个进程都需要分配 4KB 空间以隔离进程。随着进程数量增大，硬件空间并不会增大，很容易出现硬件空间不够的情况。DMWr 实现了一种共享工作队列，来解决以上问题。

在 DMWr 出现之前，PCIe 不能或者很难实现延迟写入。DMWr 实现了这样一种机制，允许 Host 或 EP 直接执行或延迟执行内存写请求。该机制可应用于 Host 及 EP，以简化流控部分的设计工作。基于 DMWr，PCIe 设备可以在单个共享工作队列内以一种非阻塞的方式接收多个非协作软件 Agent 的工作请求。换言之，PCIe 设备可以实现一个工作队列寄存器，允许多个 Requester 通过单笔 DMWr 请求向设备发出命令，设备通过 DMWr 的 Completion 状态来指示某 Requester 命令是否被接受。

2. DMWr 实现

只有 Requester 及 Completer 都支持 DMWr （实现了 Device 3 Extended Capability Structure，如图1）时才能实现 DMWr 操作。软件也需要实现相应的设备驱动，并在系统软件层面开启该特性。

一次完整的 DMWr 操作至少包括以下几步：DMWr 请求发出 -> 路由到 Completer -> Completer 执行 Mwr 动作 -> Completer 反馈 Completion。

▲ 图1 Device 3 Extended Capability Structure

2.1 DWMr 请求发送

只有 Requester 支持 DMWr 且 Device Capability 3 Register 寄存器中使能了 DMWr Request (图2)，才允许 Requester 产生 DMWr 请求。

DMWr TLP 具有特定的 Header。DMWr 支持 DMWr32 和 DMWr64，分别对应 Fmt=3’b010 及 Fmt=3’b011。DMWr Type=5’b11011，该 ID 为早期版本中 TCfgWr 的 Type ID。虽然 TCfgWr 及 TCfgRd 已遭废弃，但在 PCIe 5.0 中还保留了 TCfgWr 及 TCfgRd 的 Fmt 及 Type ID。在 PCIe 6.0 中，TCfgRd 还有，TCfgWr 则被完全废弃，DMWr 占用了原 TCfgWr 的 Fmt 及 Type ID。

▲ 图2 Device Control 3 Register

2.2 DMWr 路由

DMWr 为地址路由，所有地址路由的规则均适用于 DMWr。

只有支持 DMWr 且 Device Capability 3 Register 寄存器中使能了 DMWr Request Routing (图3) 的 PCIe 组件才能路由 DMWr 请求。RC 及 Switch 中 DMWr 需遵循以下规则：

支持 DMWr 的 RP 及 Switch 在收到正常的 DMWr 请求后需要前推该请求、回复 SC/UR/CA/RRS CPL 或上报 DMWr Egress Block Error（非致命、不可纠正错误）。
若 Switch 的一个 Port 支持 DMWr，其他 Port 也应支持 DMWr。

若 RP 或 Switch 收到的 DMWr 请求地址跨在了不同的目的地边界，Switch 的 Ingress Port 不能转发改请求，而是回复 UR CPL。

若 RC 或 Switch 中开启了 DMWr Egress Blocking （图2）的 Egress Port 收到了 DMWr 请求，该 Port 需上报 DMWr Egress Block Error，而非回复 UR。

RC 中 P2P DMWr 是可选的，通过 Device Capability 3 Register 寄存器来配置。

若 RC 中存在 RP 支持 DMWr，其他 RP 或 RCiEP 在收到 DMWr 请求后按照 UR 处理，而非按照畸形包处理。

▲ 图3 Device Capabilities 3 Register

2.3 DMWr 接收处理

DMWr 虽然是 NPR，但处理 DMWr 请求时其仍然采用转发请求的接收限制规则。

2.4 DMWr 完成

只有支持 DMWr 且 Device Capability 2 Register 寄存器中使能了 DMWr Completer (图4) 的 PCIe 组件才能作为 DMWr 的 Completer。DMWr Completer 需满足以下需求：

对于符合标准的 DMWr 请求，Completer 根据完成情况回复 SC、RRS、UR、CA 等状态的 CPL。

若由于某些临时原因 Completer 暂时无法完成 DMWr 请求，Completer 应反馈 RRS 请求重传。重传不是错误，无需上报。发出 RRS Completion后，即便稍后一切正常，Completer 也不能继续执行上一笔 DMWr。发出 RRS Completion后，Completer 也不应期望 Requester 一定回重传 DMWr。

Completer 可以基于 Requester ID、TC、PASID、有效负载等来自定义其回复 RRS Completion 的机制。

Completer 可以实现一套可编程的 DMWr 写地址规则，给 DMWr 请求划分一块专属地址。若常规 MWr 请求（非 DMWr 请求）请求访问分配给 DMWr 的地址，则拒绝执行写操作。

若 DMWr 请求的 Size 小于 64B，支持 DMWr 的 Completer 回复 SC Completion 时需确保观测到的更新粒度不小于 DMWr 请求 Size；否则不能小于 64B。

对于有多个 Function 的 PCIe 设备，只要其中一个 Function 支持 DMWr，该设备中其他不支持 DMWr 的 Function 在收到 DMWr 请求后按照 UR 处理，而非按照畸形包处理。

除非有更高优先级的错误出现，具备 DMWr 能力的 Completer 在收到 Poisoned DMWr 请求后按照 Poisoned TLP 处理，并回复 UR 或 RRS。

注意：

在 PCIe 6.0 中，除 Configuration 请求外，DMWr 也支持请求重传，所以在 PCIe 6.0 中Completion Status CRS (Configuration Request Retry Status) 改叫 RRS (Request Retry Status) 。