5.3 存储器、I/O和配置读写请求TLP

本节讲述PCIe总线定义的各类TLP，并详细介绍这些TLP的格式。在这些TLP中，有些格式对于初学者来说较难理解。读者需要建立PCIe总线中与TLP相关的一些基本概念，特别是存储器读写相关的报文格式。在PCIe总线中，存储器读写，I/O读写和配置读写请求TLP由以下几类报文组成。

(1)      存储器读请求TLP和读完成TLP

当PCIe主设备，RC或者EP，访问目标设备的存储器空间时，使用Non-Posted总线事务向目标设备发出存储器读请求TLP，目标设备收到这个存储器读请求TLP后，使用存储器读完成TLP，主动向主设备传递数据。当主设备收到目标设备的存储器读完成TLP后，将完成一次存储器读操作。

(2)      存储器写请求TLP

在PCIe总线中，存储器写使用Posted总线事务。PCIe主设备仅使用存储器写请求TLP即可完成存储器写操作，主设备不需要目标设备的回应报文。

(3)      原子操作请求和完成报文

原子操作由PCIe V2.1总线规范引入，一个完整的原子操作包括原子操作请求和原子操作完成报文组成。原子操作的使用方法与其他Non-Posted总线事务类似，首先PCIe主设备向目标设备发送原子操作请求，之后目标设备向主设备发送原子操作完成报文，结束一次原子操作。有关原子操作的详细说明见第5.3.5节。

(4)      I/O读写请求TLP和读写完成TLP

在PCIe总线中，I/O读写操作使用Non-Posted总线事务，I/O读写TLP都需要完成报文做为回应。只是在I/O写请求的完成报文中不需要“带数据”，而仅含有I/O写请求是否成功的状态信息。

(5)      配置读写请求TLP和配置读写完成TLP

从总线事务的角度上看，配置读写请求操作的过程与I/O读写操作的过程类似。配置读写请求TLP都需要配置读写完成作为应答，从而完成一个完成的配置读写操作。

(6)      消息报文

与PCI总线相比，PCIe总线增加了消息请求事务。PCIe总线使用基于报文的数据传送模式，所有总线事务都是通过报文实现的，PCIe总线取消了一些在PCI总线中存在的边带信号。在PCIe总线中，一些由PCI总线的边带信号完成的工作，如中断请求和电源管理等，在PCIe总线中由消息请求报文实现。

5.3.1 存储器读写请求TLP

存储器读写请求TLP的格式如图5?8所示。

在PCIe总线中，存储器写请求TLP使用Posted数据传送方式。而其他与存储器和I/O相关的报文都使用Split方式进行数据传送，这些请求报文需要完成报文，通知发送端之前的数据请求报文已经被处理完毕，有关完成报文的详细说明见第5.3.2节。

存储器读写请求TLP使用地址路由方式进行数据传递，在这类TLP头中包含Address字段，Address字段具有两种地址格式，分别是32位和64位地址。在存储器读写和I/O读写请求的第3和第4个双字中，存放TLP的32或者64位地址。存储器、I/O和原子操作读写请求使用的TLP头较为类似。本节仅介绍存储器、I/O读写使用的TLP头，而在第5.3.5节详细介绍原子操作。

1 Length字段

在存储器读请求TLP中并不包含Data Payload，在该报文中，Length字段表示需要从目标设备数据区域读取的数据长度；而在存储器写TLP中，Length字段表示当前报文的Data Payload长度。

Length字段的最小单位为DW。当该字段为n时，表示需要获得的数据长度或者当前报文的数据长度为n个DW，其中0?n?0x3FF。值得注意的是，当n等于0时，表示数据长度为1024个DW。

2 DW BE字段

PCIe总线以字节为基本单位进行数据传递，但是Length字段以DW为最小单位。为此TLP使用Last DW BE和First DW BE这两个字段进行字节使能，使得在一个TLP中，有效数据以字节为单位。

这两个DW BE字段各由4位组成，其中Last DW BE字段的每一位对应数据Payload最后一个双字的字节使能位；而First DW BE字段的每一位对应数据Payload第一个双字的字节使能位。其对应关系如表5?5所示。

表5?5 First和Last DW BE字段

Last DW BE和First DW BE这两个字段的使用规则如下。

• 如果传送的数据长度在一个对界的双字(DW)之内，则Last DW BE字段为0b0000，而First DW BE的对应位置1；如果数据长度超过1DW，Last DW BE字段一定不能为0b0000。PCIe总线使用Last DW BE字段为0b0000表示所传送的数据在一个对界的DW之内。
• 如果传送的数据长度超过1DW，则First DW BE字段至少有一个位使能。不能出现First DW BE为0b0000的情况。
• 如果传送的数据长度大于等于3DW，则在First DW BE和Last DW BE字段中不能出现不连续的置1位。
• 如果传送的数据长度在1DW之内时，在First DW BE字段中允许有不连续的置1位。此时PCIe总线允许在TLP中传送1个DW的第1，3字节或者第0，2字节。
• 如果传送的数据长度为2DW之内时，则First DW BE字段和Last DW BE字段允许有不连续的置1位。

值得注意的是，PCIe总线支持一种特殊的读操作，即“Zero-Length”读请求。此时Length字段的长度为1DW，而First DW BE字段和Last DW BE字段都为0b0000，即所有字节都不使能。此时与这个存储器读请求TLP对应的读完成TLP中不包含有效数据。再次提醒读者注意“Zero-Length”读请求使用的Length字段为1，而不是为0，为0表示需要获得的数据长度为1024个DW。

“Zero-Length”读请求的引入是为了实现“读刷新”操作，该操作的主要目的是为了确保之前使用Posted方式所传送的数据，到达最终的目的地，与“Zero-Length”读对应的读完成报文中不含有负载，从而提高了PCIe链路的利用率。

在PCIe总线中，使用Posted方式进行存储器写时，目标设备不需要向主设备发送回应报文，因此主设备并不知道这个存储器写是否已经达到目的地。而主设备可以使用“读刷新”操作，向目标设备进行读操作来保证存储器写最终到达目的地。

在PCIe总线中，标准的存储器读请求也可以完成同样的刷新操作。但是“Zero-Length”读请求与这种读请求相比，其完成报文不需要“Data Payload”，因此在一定程度上提高了PCIe总线的效率。如果一个存储器读请求TLP报文的TH位为1时，DW BE字段将被重新定义为ST[7:0]字段，有关ST字段的详细说明见第5.3.6节。

3 Requester ID字段

Requester ID字段包含“生成这个TLP报文”的PCIe设备的总线号(Bus Number)、设备号(Device Number)和功能号(Function Number)，其格式如图5?9所示。对于存储器写请求TLP，Requester ID字段并不是必须的，因为目标设备收到存储器写请求TLP后，不需要完成报文作为应答，因此Requester ID字段对于存储器写请求TLP并没有实际意义。

但是PCIe总线规范并没有明确说明存储器写请求TLP究竟需不需要Requester ID字段，为此IC设计者依然需要将存储器写TLP的Requester ID字段置为有效。值得注意的是，如果一个存储器写请求TLP报文的TH位为1时，Tag字段将被重新定义为ST[7:0]字段，有关ST字段的详细说明见第5.3.6节。

对于Non-Posted数据请求，目标设备需要使用完成报文做为回应。在这个完成报文中，需要使用源设备的Requester ID字段。因此在Non-Posted数据请求TLP中，如存储器读请求、I/O和配置读写请求TLP，必须使用Requester ID字段。

存储器，I/O读请求TLP中含有Requester ID和Tag字段。在PCIe总线中Requester ID和Tag字段合称为Transaction ID，Transaction ID字段的格式如图5?9所示。存储器读，I/O和配置读写请求TLP使用Transaction字段的主要目的是使接收端通过分析报文的Transaction ID，确认完成报文的目的地。

在PCIe总线中，所有Non-Posted数据请求都需要完成报文作为应答，才能结束一次完整的数据传递。一个源设备在发送Non-Posted数据请求之后，如果并没有收到目标设备回送的完成报文，TLP报文的发送端需要保存这个Non-Posted数据请求，此时该设备使用的Transaction ID(Tag字段)不能被再次使用，直到一次数据传送结束，即数据发送端收齐与该TLP对应的所有完成报文。

PCIe设备发出的每一个Non-Posted数据请求TLP，在同一个时刻段内Transaction ID必须是唯一的。即在同一时间段内，在当前PCI总线域中不能存在两个或者两个以上的存储器读请求TLP，其Transaction ID完全相同。

源设备发送Non-Posted数据请求后，在没有获得全部完成报文之前，不能释放这个Transaction ID占用的资源。在同一个PCIe设备发送的TLP中，其Requester ID字段是相同的，因此PCIe设备的设计者所能管理的资源是Tag字段。PCIe设备的设计者需要合理地管理Tag资源，以保证数据传送的正确性。

PCIe设备在发送Non-Posted数据请求时，需要暂存这些Non-Posted数据请求。其中Tag字段的长度决定了发送端能够暂存多少个同类型的TLP，如果Tag字段长度为5，发送端能够暂存32个报文；如果PCIe设备使能了Extended Tag位，Tag字段可以由8位组成，此时发送端能够暂存256个报文。

通过Tag字段的长度，可以发现每个PCIe设备最多可以暂存256个同类型的Non-Posted报文。但是在多数情况下，一个PCIe设备可能只包含1个Function。因此PCIe设备还可以使用Function号扩展Tag字段，从而扩展“暂存TLP报文”的数目。

PCIe设备在PCI Express Capability结构的Device Control寄存器中，设置了一个Phantom Functions Enable位，。当一个PCIe设备仅支持一个Function时，Phantom Functions Enable位可以被设置为1，此时PCIe设备可以使用Requester ID的Function Number字段对Tag字段进一步扩展，此时一个PCIe设备最多可以支持2048个同类型的数据请求。

由以上分析可以发现，一个PCIe设备最多可以支持2048个存储器读数据请求，基本上可以满足绝大多数需要。但是在某些特殊应用场合，PCIe设备即使可以暂存2048个存储器读请求，也并不足够。

与PCI总线相比，PCIe总线的数据传送延时较长，而为了弥补这个传送延时，PCIe设备通常使用流水线技术。此时PCIe设备必须能够连续发送多个存储器读请求报文，随后RC也将连续回送多个存储器读完成报文，在PCIe设备的实现中，需要保证能够源源不断地从RC接收这些报文，以充分利用报文接收流水线，。

PCIe V2.1总线规范还提出了另一种Requester ID格式，即ARI (Alternative Routing-ID Interpretation)格式，除了Requester ID外，在完成报文中使用的Completer ID也可以使用这种格式。ARI格式将ID号分为两个字段，分别为Bus号和Function号，而不使用Device号，ARI格式如图5?10所示。

PCIe总线引入ARI格式的依据是在一个PCIe链路上仅可能存在一个PCIe设备，因而其Device号一定为0。在多数PCIe设备中，Requester ID和Completion ID包含的Device号是没有意义的。使用ARI格式时，一个PCIe设备最多可以支持256个Function，而传统的PCIe设备最多只能支持8个Function。

4 I/O读写请求TLP的规则

I/O读写请求与存储器读写请求TLP的格式基本类似，只是I/O读写请求TLP只能使用32位地址模式和基于地址的路由方式，而且I/O读写请求TLP只能使用Non-Posted方式进行传递。PCIe总线并不建议PCIe设备支持I/O地址空间，但是Switch和RC需要具备接收和发送I/O请求报文的能力，因为许多老的PCI设备依然使用I/O地址空间，这些PCI设备可以通过PCIe桥连接到PCIe总线中。因此虽然支持I/O读写请求的PCIe设备极少，但是在PCIe体系结构中，依然需要支持PCI总线域的I/O地址空间。

与存储器读写请求TLP不同，I/O读写请求TLP的某些字段必须为以下值。

• TC[2:0]必须为0，I/O请求报文使用的TC标签只能为0。
• TH和Attr2位保留，而Attr[1:0]必须为“0b00”，这表示I/O请求报文必须使用PCI总线的强序数据传送模式，而且在传送过程中，硬件保证其传送的数据与Cache保持一致，实际上I/O地址空间都是不可Cache的。
•  AT[1:0]必须为“0b00”，表示不支持地址转换，因此在虚拟化技术中，并不处理PCI总线域中的I/O空间。
• Length[9:0]为“0b00 0000 0001”，表示I/O读写请求TLP最大的数据Payload为1DW，该类TLP不支持突发传送。
• Last DW[3:0]为“0b0000”。

5.3.2 完成报文

PCIe总线支持Split传送方式，目标设备使用完成报文向源设备主动发送数据。完成报文使用ID路由方式，由TLP Predix、报文头和Data Payload组成，但是在某些完成报文可以不含有Data Payload，如I/O或者配置写完成和Zero-Length读完成报文。在PCIe总线中，有一下几类数据请求需要收到完成报文之后，才能完成整个数据传送过程，完成报文格式如图5?11所示。

• 所有的数据读请求，包括存储器、I/O读请求、配置读请求和原子操作请求。当一个PCIe设备发出这些数据请求报文后，必须收到目标设备的完成报文后，才能结束一次数据传送。这一类完成报文必须包含Data Payload。
• 所有的Non-Posted数据写请求，包括I/O和配置写请求。当一个PCIe设备发出这些数据请求报文后，必须收到目标设备的完成报文后，才能结束数据传送。但是这一类完成报文不包含数据，仅包含应答信息。
• 与ATS机制相关的一些报文。

完成报文“Byte 0”中的大部分字段与“存储器，I/O、配置请求报文”的对应字段的含义相同。完成报文一次最多能够传送的报文大小不能超过Max_Payload_Size参数。在多数处理器中，完成报文中包含的数据在一个Cache行之内，完成报文使用RCB参数来处理数据对界，RCB参数的大小与处理器系统的Cache行长度和DDR-SDRAM的一次突发传送长度相关，这些参数的详细描述见第5.4.3节。在x86和PowerPC处理器中，一个存储器读完成报文一般不超过RCB参数。

1 Requester ID和Tag字段

完成报文使用ID路由方式，ID路由方式详见第5.2.2节。完成报文头的长度为3DW，完成报文头中包含Transaction ID信息，由Requester ID和Tag字段组成，这个ID必须与源设备发送的数据请求报文的Transaction ID对应，完成报文使用Transaction ID进行ID路由，并将数据发送给源设备。

当PCIe设备收到存储器读、I/O读写或者配置读写请求TLP时，需要首先保存这些报文的Transaction ID，之后当该设备准备好完成报文后，将完成报文的Requester ID和Tag字段赋值为之前保存的Transaction ID字段。

2 Completer ID字段

Completer ID字段的含义与Requester ID字段较为相似，只是该字段存放“发送完成报文”的PCIe设备的ID号。PCIe设备进行数据请求时需要在TLP字段中包含Requester ID字段；而使用完成报文结束数据请求时，需要提供Completer ID字段。

3 Status字段

Status字段保存当前完成报文的完成状态，表示当前TLP是正确地将数据传递给数据请求端；还是在数据传递过程中出现错误；或者要求数据请求方进行重试。PCIe总线规定了几类完成状态，如表5?6所示。

表5?6 Status字段

4 BCM位与Byte Count字段

BCM(Byte Count Modified)字段由PCI-X设备设置。PCI-X设备也支持Split Transaction传送方式，当PCI-X设备进行存储器读请求时，目标设备不一定一次就能将所有数据传递给源设备。此时目标设备在进行第一次数据传送时，需要设置Byte Count字段和BCM位。

BCM位表示Byte Count字段是否被更改，该位仅对PCI-X设备有效，而PCIe设备不能操纵BCM位，只有PCI-X设备或者PCIe-to-PCI-X桥可以改变该位。本节对此位不做进一步介绍，对此位感兴趣的读者可以参考PCI-X Addendum to the PCI Local Bus Specification, Revision 2.0。

Byte Count字段记录源设备还需要从目标设备中，获得多少字节的数据就能完成全部数据传递，当前TLP中的有效负载也被Byte Count字段统计在内。该字段由12位组成。该字段为0b0000-0000-0001表示还剩一个字节，为0b1111-1111-1111表示还剩4095个字节，而为0b0000-0000-0000表示还剩4096个字节。除了存储器读请求的完成报文外，大多数完成报文的Byte Count字段为4。

如一个源设备向目标设备发送一个“读取128B的存储器读请求TLP”，而目标设备收到这个读请求TLP后，可能使用两个存储器读完成TLP传递数据。其中第1个存储器读完成TLP的有效数据为64B，而Byte Count字段为128；第2个存储器读完成TLP中的有效数据为64B，而Byte Count字段也为64。当数据请求端接收完毕第1个存储器读完成TLP后，发现还有64B的数据没有接收完毕，此时必须等待下一个存储器读完成TLP。等到数据请求端收齐所有数据后，才能结束整个存储器读请求。

目标设备发出的第2个读完成TLP中的有效数据为64B，而Byte Count字段为64，当数据请求端接收完毕这个读完成TLP后，将完成一个完整的存储器读过程，从而可以释放这个存储器读过程使用的Tag资源。存储器读请求的完成报文的拆分方式较为复杂，Byte Count字段的设置也相对较为复杂。

5 Lower Address字段

如果当前完成报文为存储器读完成TLP，该字段存放在存储器读完成TLP中第一个数据所对应地址的最低位。值得注意的是，在完成报文中，并不存在First DW BE和Last DW BE字段，因此接收端必须使用存储器读完成TLP的Low Address字段，识别一个TLP中包含数据的起始地址。

5.3.3 配置读写请求TLP

配置读写请求TLP由RC发起，用来访问PCIe设备的配置空间。配置请求报文使用基于ID的路由方式。PCIe总线也支持两种配置请求报文，分别为Type 00h和Type 01h配置请求。配置请求TLP的格式如图5?12所示。

配置请求TLP的第4~7字节与存储器请求TLP类似。而第8~11字节的Bus、Device和Function Number中存放该TLP访问的目标设备的相应的号码，而Ext Register和Reigister Number存放寄存器号。配置请求报文的其他字段必须为以下值。

• TC[2:0]必须为0，I/O请求报文的传送类型(TC)只能为0。
• TH位为保留位；Attr2位为保留，而Attr[1:0]必须为“00b”，这表示I/O请求报文使用PCI总线的强序数据传送模式；AT[1:0]必须为“0b00”，表示不进行地址转换。
• Length[9:0]为“0b00 0000 0001”，表示配置读写请求最大Payload为1DW。
• Last DW BE字段为“0b0000”。而First DW BE字段根据配置读写请求的大小设置。

5.3.4 消息请求报文

在PCIe总线中，多数消息报文使用隐式路由方式，其格式如图5?13所示。其中Byte 0字段为通用TLP头，而Byte 4的第3字节中存放Message Code字段。

PCIe总线规定了以下几类消息报文。

• INTx中断消息报文(INTx Interrupt Signaling)。
• 电源管理消息报文(Power Management)。
• 错误消息报文(Error Signaling)。
• 锁定事务消息报文(Locked Transaction Support)。
• 插槽电源限制消息报文(Slot Power Limit Support)。
• Vendor-Defined Messages。