PCIe是一种高速串行计算机扩展总线标准，与SATA相比，具有很多改进的地方，比如更高的最大系统总线吞吐量，较少的IO引脚数，更小的物理占位面积和更好的总线设备性能扩展。PCIe总线是高速差分总线，采用端对端的数据传输方式。随着PCIe技术不断发展与进步，目前市场上应用最多的还是2015年发布的PCIe Gen3。在2017年6月份的时候，PCIe Gen4已经发布，市场上目前也可以买到Gen4的固态硬盘了。在2019年的时候，Gen5也正是发布，速度更是达到128GB/s, 性能越来越强劲，
不过，目前Gen5 SSD还没规模上市，大家还需要在耐心等待下。
在上图中有一个栏位，名称叫做Raw Bit Rate，翻译过来就是原始比特率。那么，这个原始比特率(RBR)与真实的数据传输速度之间是什么关系呢？有什么区别？这就是我们本篇文章想要思索的问题。
一、数据传输速率定义
在PCIe总线中，事务传输类型有四种，Memory，IO，Configuration，Message，如下图。
不过，PCIe系统针对传输速率的优化都主要集中提高Memory类型事务的传输速率，所以，我们在这里提到的传输速率，主要是Memory data的传输速率。本文主要以理论分析为主，内容仍然以主流的Gen3为主，Gen4/5可以作为参考。
PCIe Spec定义Gen1的最大传输速率是2.5Gb/s, Gen2的最大传输速率是5.0Gb/s, Gen3的最大传输速率是8.0Gb/s. 在这里的最大传输速率指的是单lane单向的原始比特传输速率(Raw bit rate), 并不是PCIe系统中真正的数据传输速率。因为在PCIe系统存在一定的数据传输开销和设计取舍。
二、数据传输开销
任何数据在PCIe系统传输，都会产生一定的开销。我们从以下五个方面探究一下：
(1) 数据编码: Gen1/2 8b/10b & Gen3 128b/130b
Gen1/Gen2采用8b/10b编码，直观的理解，就是把8bit数据转换为10bit数据传输，目的就是维持"直流平衡(DC Balance)"，让1和0传输数目相等。因为高速串行传输过程中，如果有连续多位1或者0没有变化，那么，信号传输就会由于电压位阶的关系而发生错误。
Gen1/Gen2采用8b/10b编码进行数据传输，就相当于多了20%左右的传输开销。同理，Gen3采用了128b/130b编码传输，就等于多了2%左右的开销。
(2) TLP数据包开销
PCIe属于封装分层协议，数据报文在Device Core产生之后，在分别经过事务层(Transaction Layer)、数据链路层(Data Link Layer)、物理层(Physical Layer)之后会依次被增加ECRC，Sequence Number，LCRC，Start，END等数据块。
Gen2 TLP:
Gen3 TLP:
不过，需要注意的是，Gen1和Gen2有End标识符，Gen3则没有End标识符。
TLP header有两种选择12 bytes或者16bytes，主要与Memory Read/Write TLP中采用32位地址或者64位地址有关。
如果采用32位地址，那么TLP Header的长度是12bytes:
如果采用64位地址，那么TLP Header的长度是16bytes:
所以，在TLP传输过程中，就增加了20~30 Bytes的开销。
(3) 流量开销(Traffic Overhead)
在数据链路层(Data link layer)和物理层(Physical Layer)都会引入流量开销(Traffic Overhead).
数据链路层在PCIe总线中的作用就是保证来自事务层TLPs的正确传输。为了实现这一目的，数据链路层又定义了DLLP(Data Link Layer Packets)。DLLP产生于数据链路层，终止于数据链路层。定义的DLLP数据类型主要有Ack, Nak, PM，FC等，如下图。
在PCIe Link达到正常的工作状态(L0)之后，如果两个交互port口之间存在延时，那么这个时候就需要物理层插入SKP Order sets来补偿PCIe链路中的延时。对于Gen1/Gen2, SKP OS的大小为4 Bytes；对于Gen3, SKP OS的大小一般为16 Bytes. PCIe Spec规定，在TLP传输过程中，不允许插入Order Sets，SKP OS只能在TLP传输间隙进行。
所以，Ack/Nak/PM/FC等DLLP和Order Sets也都会影响到数据传输的速率。
(4) 协议开销
PCIe Spec规定，发送端发送TLP之后，需要接受端回应Ack或者Nak, 以得知发送的TLP是否被成功接收。发送端需要将TLP保存在TLP retry buffer中，直到收到Ack成功接收的回应。如果不幸的收到了Nak未成功接收的回应，那也不怕，只要将放在TLP retry buffer中的TLP再次发送，直到被正确接收。
如果发送每个TLP之后，都要求对应一个Ack回应，那么，当发送多个TLP时，就需要对应多个Ack回应，这样的话，会严重的增加PCIe链路中的数据传输开销。为了减少这方面的开销，PCIe Spec允许发送多个TLP后，有一个Ack回应就可以。如下图，发送5个TLP，收到一个Ack回应。
这样做的好处可以降低开销，但是不能消除开销。
此外，之前PCIe专题的介绍中，我们提到过PCIe中总线事务有两大类：Non-Posted和Posted：
- Non-Posted: 需要completion返回响应包；
- Posted: 不需要completion返回响应包.
当我们发送一个Non-Posted Memory Read TLP之后，就需要等待Completion TLP回应。这个过程也会增加数据传输的延时。
(5) 流量控制(Flow Control)机制的开销
在PCIe链路中，我们不能一直发送TLP，而是需要接受端有足够的接受空间之后，才能继续发送TLP，这个过程就是PCIe协议中的流量控制(Flow Control)机制。
接收端会通过不断地发送FC DLLP来告知发送端，此时接收端可用Buffer的大小。如果接收端的Buffer快满时，发送端就会停止发送TLP，这样做的目的就是防止Buffer空间不足而造成TLP被丢弃。
所以，接收端可用Buffer的大小很大程度上也会影响着数据传输速率。
三、系统参数对传输速率的影响
除了上面提到的协议和流量开销外，对传输速率也有一定影响的因素就是系统参数，比如MPS(Maximum Payload Size), MRRS(Maximum Read Request Szie),RCB(Read Completion Boundary)等。
(1) MPS(Maximum Payload Size)
PCIe协议对MPS支持的大小有6种: 128B，256B，512B，1024B，2048B，4096B.
PCIe系统中的最大负载MPS是在上电枚举和配置阶段定义的，以PCIe系统中最小MPS为准。比如，下图，RC，Switch，Endpoint都有不同的MPS设置，那么，就取最小MPS 128 Bytes为准。这个过程，类似水桶原理。
MPS的大小影响着数据传输的效率。数据包传输效率计算公式：
我们假设TLP中的Header大小为12 Bytes, 同时没有ECRC，这样的话，TLP传输就有20bytes的额外开销。那么，不同MPS大小对应的数据包传输效率计算结果如下：
从计算结果来看，随着MPS的增加，数据包的传输效率在增加，但是增幅在变小，作个曲线表示如下：
(2) MRRS(Maximum Read Request Size)
PCIe协议中，MRRS代表着读请求最大Size，对于MRRS选择，同样有6种：128B，256B，512B，1024B，2048B，4096B. 这个参数也是在Configuration阶段，写入到设备的control寄存器。
由于不携带任何数据，所以每次的读请求都是一笔额外的开销。如果我们设定MRRS为128B，我们读64KB数据时，就需要发送512(64KB/128B=512)次读请求，这样的话，就增加了很多额外的开销，对数据传输速率也是一种伤害。
(3) RCB(Read Completion Boundary)
在发送一个Non-Posted Memory Read TLP之后，接收端就会通过回应Completion TLP，并返回目标数据。在这个过程汇中，一个Memory Read TLP请求，可能会收到多个Completion TLP。这主要取决一个参数，叫做RCB。RCB是一个限定Read Completion边界的参数，要求64Bytes或者128BBytes地址对齐, 如下图。不过，大多数情况下，RC/Endpoint都是采用64Bytes对齐。
RCB这个参数在哪里设定呢? 众里寻他千百度，蓦然回首，它就在Link Control Register Bit[3]，如下图.
举个RCB=64 Bytes的例子: 从地址0x10028开始读取256B数据。
由于Root Complex要求以64Bytes对齐，第一笔数据读取的时候只读到24Bytes, 之后三笔数据大小为64Bytes, 最后一笔数据读到40Bytes. 在这里，用5笔Completion TLP完成了Memory Read TLP 256B数据的请求。
单笔64B数据包的传输效率=64B/(64B+20B)=76%. 所以，多笔Completion TLP会造成数据传输效率降低。
四、写入吞吐量(Write Throughput)计算方式
假设Write TLP的数量是50， MPS=512B，PCIe系统是Gen1 x8.
(1) 计算Symbol Time
我们知道是Gen1，传输速率是2.5Gb/s. 那么，
Symbol Time(由于8b/10b编码, 在这里指传输10bit的时间)=10b/2.5Gb/s=4ns.
因为是8 lane，那么，每4ns可以发送8Byte数据。
(2) 计算TLP和DLLP传输时间
在MPS=512B，32bit地址的情况下，Memory Write TLP的传输时间就等于：
[(512B payload+ 20B overhead)/8B/Clock]*4ns/Clock=266 ns.
DLLP的传输时间就等于：
[8B / 8B/Clock] * [4ns/Clock] = 4 ns.
另外，我们在这里假设，每传输5个TLPs, 对应一个Ack DLLP。每传输4个TLPs，有一个FC update DLLP.
(3) 计算传输带宽
传输数据总量(Bytes)=50 posted writes × 512 bytes/posted write = 25,600 bytes.
传输时间=(50 × 266 ns) + (10 × 4 ns) + (13 × 4 ns) = 13,392 ns.
传输带宽=[25,600 bytes / 13,392 ns] = 1.912 GB/s.
五、读取吞吐量(Read Throughput)计算方式
假设读取数据量=4096B， MRRS=256B，PCIe系统是Gen1 x8.
(1) 计算Symbol Time
我们知道是Gen1，传输速率是2.5Gb/s. 那么，
Symbol Time(由于8b/10b编码, 在这里指传输10bit的时间)=10b/2.5Gb/s=4ns.
因为是8 lane，那么，每4ns可以发送8Byte数据。
(2) 计算TLP和DLLP传输时间
在32bit地址的情况下，Memory Read TLP的传输时间等于：
[20B overhead/8B/Clock]*4ns/Clock=10 ns.
DLLP的传输时间就等于：
[8B / 8B/Clock] * [4ns/Clock] = 4 ns.
假设RCB(Read Completion Boundary)=64 Bytes，所以，多数的Completion TLP都是64B大小。
Memory Read Completion TLP传输时间等于：
[(64 bytes payload + 20 bytes overhead) / 8 bytes/clock] × [4 ns/clock] = 42 ns.
另外，我们在这里假设，每传输5个TLPs, 对应一个Ack DLLP。每传输4个TLPs，有一个FC update DLLP. 从发送Read请求，到Completion产生的时间为300ns.
(3) 计算传输带宽
传输数据总量(Bytes)=4096 bytes.
传输时间=(16 × 10 ns) + (16 × 300 ns) + (64 × 42 ns) + (16 × 4 ns) + (20 × 4 ns) = 7,792 ns.
传输带宽=[4096 bytes / 7,792 ns] = 523 MB/s.
声明: 本文内容参考PCIe Spec, MindShare以及Xilinx White Paper. 非常感谢！
