数据中心基准测试术语

简介: 本信息文档的目的是为数据中心基准测试建立定义和描述测量技术,以及引入适用于数据中心网络设备性能评估的新术语。本文档确立了对数据中心中的网络交换机和路由器进行基准测试的重要概念,并且是测试方法文档(RFC 8239)的先决条件。这些术语和方法中的许多可能适用于超出本文档范围的网络设备,因为最初应用于数据中心的技术已部署在其他地方。

640.gif


RFC8238:Data Center Benchmarking Terminology,August 2017


梗概


本信息文档的目的是为数据中心基准测试建立定义和描述测量技术,以及引入适用于数据中心网络设备性能评估的新术语。本文档确立了对数据中心中的网络交换机和路由器进行基准测试的重要概念,并且是测试方法文档(RFC 8239)的先决条件。这些术语和方法中的许多可能适用于超出本文档范围的网络设备,因为最初应用于数据中心的技术已部署在其他地方。


本备忘录的状态


本文档不是 Internet Standards Track 规范;它是为了提供信息而发布的。


本文档是 Internet 工程任务组 (IETF) 的产品。它代表了 IETF 社区的共识。它已接受公众审查,并已获互联网工程指导小组 (IESG) 批准出版。并非 IESG 批准的所有文件都适用于任何级别的互联网标准;请参阅 RFC 7841 的第 2 节。


有关本文档当前状态、勘误表以及如何提供反馈的信息,请访问 http://www.rfc-editor.org/info/rfc8238


版权声明


版权所有 (c) 2017 IETF Trust 和文件作者。版权所有。


本文件受 BCP 78 和 IETF 信托关于 IETF 文件的法律规定 (http://trustee.ietf.org/license-info) 的约束,在本文件发布之日有效。请仔细阅读这些文件,因为它们描述了您对本文件的权利和限制。从本文档中提取的代码组件必须包含 Trust Legal Provisions 第 4.e 节中所述的简化 BSD 许可文本,并且按照简化 BSD 许可中的说明在不保证的情况下提供。


1、 简介


数据中心的流量模式并不统一,并且在不断变化。它们取决于数据中心使用的应用程序的性质和种类。它们可能主要是一个数据中心的东西向流量(数据中心内的服务器到服务器)和另一个数据中心的南北向流量(从数据中心外部到服务器),而有些可能将两者结合起来。流量模式本质上可能是突发的,并且包含多对一、多对多或一对多的流量。每个流在包含 UDP 和 TCP 流量的混合时,也可能很小且对延迟敏感,或较大且对吞吐量敏感。所有这些都可以共存于单个集群中,并同时流经单个网络设备。网络设备的基准测试长期以来一直使用 [RFC1242]、[RFC2432]、[RFC2544]、[RFC2889] 和 [RFC3918]。这些基准测试主要集中在被测设备 (Device Under Test,DUT) 的各种延迟属性和最大吞吐量上。这些标准擅长测量测试条件下的理论最大吞吐量、转发速率和延迟,但它们并不代表可能影响这些网络设备的真实流量模式。涵盖的数据中心网络设备是交换机和路由器。


目前,典型的数据中心组网设备具有以下特点:


- 高端口密度(48 个或更多端口)。

- 高速率(目前,每个端口高达 100 GB/s)。

- 高吞吐量(二层和/或三层的所有端口上的线速)。

- 低延迟(在微秒或纳秒范围内)。

- 缓冲区空间小(在每个网络设备的 MB 范围内)。

- 二层和三层转发能力(三层不是强制性的)。


本文档定义了一组定义、度量和新术语,包括拥塞场景和交换机缓冲区分析,并重新定义了基本定义以表示各种流量状况。测试方法在 [RFC8239] 中定义。


1.1、 需求语言


关键词“必须”、“不得”、“要求”、“应”、“不得”、“应该”、“不应”、“推荐”、“不推荐”、“可以”和“可选”当且仅当它们以全部大写字母出现时,本文档中的 " 将按照 BCP 14 [RFC2119] [RFC8174] 中的描述进行解释,如此处所示。


1.2、 定义格式


- 要定义的术语(例如,“延迟”)。

- 定义:该术语的具体定义。

- 讨论:简要讨论该术语、其应用以及对测量程序的任何限制。

- 测量单位:测量方法和用于报告相关术语测量的单位(如果适用)。


2、 延迟


2.1、 定义


延迟是DUT传输一帧所需的时间。延迟以时间单位(秒、毫秒、微秒等)衡量。测量延迟的目的是了解在通信路径中添加设备的影响。


可以在不同的事件组合之间评估延迟间隔,而不管交换设备的类型(位转发,也称为直通;或存储和转发设备)。[RFC1242] 为这些类型的设备中的每一种定义了不同的延迟。


传统上,延迟测量定义是:


- FILO(First In Last Out,先进后出):


从输入帧的第一位结束到达输入端口开始,到输出帧的最后一位出现在输出端口上的时间间隔。


- FIFO(First In First Out,先进先出):


从输入帧的第一位的结尾到达输入端口开始,到输出帧的第一位的开始出现在输出端口上的时间间隔。位转发设备的延迟(如 [RFC1242] 中定义)使用这些事件。


- LILO(Last In Last Out,后进后出):


从输入帧的最后一位到达输入端口,到输出帧的最后一位出现在输出端口的时间间隔。


- LIFO(Last In First Out,后进先出):


从输入帧的最后一位到达输入端口开始,到在输出端口看到输出帧的第一位时结束的时间间隔。存储转发设备的延迟(如 [RFC1242] 中定义)使用这些事件。


总结上述四个定义的另一种可能方法是引用通常出现的位的位置:输入到输出。


- FILO 是 FL(First bit Last bit)。

- FIFO 为 FF(First bit First bit)。

- LILO 是 LL(Last bit Last bit)。

- LIFO 是 LF(Last bit First bit)。


如本节在数据中心交换机基准测试的上下文中所解释的,此定义代替了 RFC 1242 第 3.8 节中提供的“延迟”的先前定义,并在此处引用:


对于存储和转发设备:从输入帧的最后一位到达输入端口开始,到在输出端口看到输出帧的第一个位结束的时间间隔。


对于位转发设备:从输入帧的第一个位的结尾到达输入端口开始到输出帧的第一个位的开始出现在输出端口上的时间间隔。


为了适应两种类型的网络设备和已经出现的两种类型的混合,根据本文档进行的交换机延迟测量必须使用 FILO 事件进行测量。FILO 将包括交换机的延迟和帧的延迟以及序列化延迟。这是通过 DUT 的“整体”延迟的图片。对于延迟敏感并且可以使用帧的初始字节运行的应用程序,可以使用 FIFO(或者,对于位转发设备,根据 RFC 1242 的延迟)。在所有情况下,必须报告延迟测量中使用的事件组合。


2.2、 讨论


如 2.1 节所述,FILO 是最重要的测量定义。


并非所有 DUT 都专门用于直通或存储转发。数据中心 DUT 经常针对较小的数据包大小进行存储和转发,然后在特定的较大数据包大小时更改为直通行为。行为改变的数据包大小的值可能是可配置的,这取决于 DUT 制造商。FILO 涵盖了两种情况:存储转发和直通。行为变化的阈值对于基准测试并不重要,因为 FILO 涵盖了这两种可能的情况。


LIFO 机制可以与存储转发交换机一起使用,但不能与直通交换机一起使用,因为它将为较大的数据包大小提供负延迟值,因为 LIFO 消除了序列化延迟。因此,在比较两个不同 DUT 的延迟时,不得使用此机制。


2.3、 测量单位

用于基准测试的测量方法如下:


1) FILO 必须用作测量方法,因为这将包括数据包的延迟;今天,应用程序通常需要读取整个数据包来处理信息并采取行动。


2) FIFO 可用于某些能够在第一位到达时处理数据的应用程序——例如,使用现场可编程门阵列 (Field-Programmable Gate Array,FPGA)


3) 不得使用 LIFO,因为与所有其他方法不同,它会减去数据包的延迟。


3、 抖动


3.1、 定义


在数据中心的上下文中,抖动与常用术语“延迟变化”同义。它源自对单向延迟的多次测量,如 RFC 3393 中所述。“延迟变化”的强制性定义是 [RFC5481] 的第 4.2 节中定义的数据包延迟变化 (Packet Delay Variation,PDV)。当考虑一个数据包流时,所有数据包的延迟从流中所有数据包的最小延迟中减去。这有助于评估延迟变化范围 (Max - Min) 或 PDV 的高百分位数(第 99 个百分位数,用于对异常值的鲁棒性)。


当 First-bit 到 Last-bit 时间戳用于延迟测量时,必须使用相同大小的数据包或帧来测量延迟变化,因为延迟的定义包括每个数据包的序列化时间。否则,如果使用 First-bit 到 First-bit,则大小限制不适用。


3.2、 讨论


除了 PDV 范围和/或 PDV 的高百分位数之外,[RFC5481] 的第 4.1 节中定义的包间延迟变化 (Inter-Packet Delay Variation,IPDV)(两个连续包之间的差异)可以用于确定包间隔的方式在传输过程中发生了变化——例如,查看数据包流是否变得紧密或“突发”。但是,不应使用 IPDV 的绝对值,因为这会将 IPDV 分布的“突发”和“分散”两侧“折叠”在一起。


3.3、 测量单位


延迟变化的测量以秒为单位表示。可以为测量的数据包群提供 PDV 直方图。


4、 物理层的校准


4.1、 定义


物理层的校准包括定义和测量用于在 DUT 上执行测试的物理设备的延迟。


它包括所有使用的物理层组件的列表,如下所示:


- 用于生成流量/测量流量的设备类型。

- 流量生成器上使用的线卡类型。

- 流量发生器上的收发器类型。

- DUT 上的收发器类型。

- 电缆类型。

- 电缆长度。

- 流量发生器和 DUT 的软件名称和版本。

- 可以提供并推荐 DUT 上启用的功能列表(尤其是在控制平面协议的情况下,例如链路层发现协议和生成树)。可以为此提供一个全面的配置文件。


4.2、 讨论


物理层的校准会导致端到端延迟,在评估 DUT 时应将其考虑在内。测试的物理组件的微小变化可能会影响正在测量的延迟;因此,在呈现结果时必须描述它们。


4.3、 测量单位


建议用于测试的所有电缆 (1) 具有相同的类型和长度,并且 (2) 尽可能来自同一供应商。必须记录第 4.1 节中列出的电缆规格以及测试结果。测试报告必须说明电缆延迟是否已从测试测量中减去。必须提供流量生成器测量的精度(对于当前的测试设备,这通常是 20 ns 范围内的值)。


5、 线速


5.1、 定义


传输时序或最大传输数据速率由 DUT 中的“传输时钟”控制。接收时序(最大入口数据速率)来自所连接接口的发送时钟。


线速或物理层帧速率是在 DUT 的传输时钟频率下发送特定大小的帧的最大容量。


术语“线速的标称值”定义了给定端口的最大速度能力——例如(表示为GE千兆以太网)、1 GE、10 GE、40 GE、100 GE。


任何两个连接的接口中传输时钟的频率(“时钟速率”)永远不会完全相同;因此,需要一个公差。这将由百万分率 (Parts Per Million,PPM) 值表示。IEEE 标准允许传输时钟速率有特定的 +/- 变化,而以太网的设计允许两个时钟速率之间存在小的正常变化。当流量从测试设备生成到 DUT 时,这会导致线速值的容差。


线速应该以每秒帧数 (frames per second,FPS) 来衡量。


5.2、 讨论


对于发送时钟源,大多数以太网交换机使用密封的、内部温度补偿的、非常精确的“时钟模块”(也称为“振荡器模块”)。这些模块的输出频率是不可调节的,因为没有必要。然而,许多测试仪提供了由软件控制的传输时钟速率调整。这些调整应该用于“补偿”测试设备,以免发送超过 DUT 的线速。


为了考虑到通常在商用时钟模块和其他基于晶体的振荡器的时钟速率中发现的微小变化,以太网标准规定最大传输时钟速率变化不超过计算出的中心频率的 +/- 100 PPM。因此,DUT 必须能够以 +/- 100 PPM 的速率接受帧以符合标准。


很少有时钟电路精确到 +/- 0.0 PPM,因为:


1. 以太网标准允许随时间变化的最大差异为 +/- 100 PPM。因此,振荡器电路的频率会随着时间和宽温度范围以及其他外部因素而发生变化是正常的。


2. 晶体或时钟模块通常具有明显优于 +/- 100 PPM 的特定 +/- PPM 方差。通常,这是 +/- 30 PPM 或更好,以便被视为“认证工具”。


当以“线速”测试以太网交换机吞吐量时,任何特定交换机都会有时钟速率差异。如果测试集的运行速度比被测交换机快 +1 PPM 并且执行持续的线速测试,则可以观察到延迟逐渐增加,最终随着交换机中缓冲区填充和溢出而丢包。根据两个连接的系统之间存在多少时钟差异,可能会在流量流运行几百微秒、几毫秒或几秒后看到效果。通过将测试集的链路占用率设置为略低于 100% 的链路占用率,可以证明同样的低延迟和无数据包丢失。通常,99% 的链路占用率会产生出色的低延迟并且不会丢失数据包。没有以太网交换机或路由器的传输时钟速率恰好为 +/- 0.0 PPM。很少(如果有的话)测试集的时钟频率精确到 +/- 0.0 PPM。


测试设备制造商非常了解这些标准,并允许软件控制的 +/- 100 PPM“偏移”(时钟频率调整)来补偿 DUT 时钟速度的正常变化。这种偏移调整允许工程师确定所连接设备的大致运行速度,并验证它是否在标准允许的参数范围内。


5.3、 测量单位


“线速/Line rate”可以用“帧速率/frame rate”来衡量

Frame Rate = Transmit-Clock-Frequency / (Frame-Length*8 + Minimum_Gap + Preamble + Start-Frame Delimiter)


Minimum_Gap 表示帧间间隙。此公式“放大”或“缩小”以表示 1 GB 以太网、10 GB 以太网等。


具有 64 字节帧的 1 GB 以太网速度示例:

Frame Rate = 1,000,000,000 / (64*8 + 96 + 56 + 8)
= 1,000,000,000 / 672
= 1,488,095.2 帧/秒


考虑到 +/- 100 PPM 的容差,交换机可以“合法地”以 1,487,946.4 FPS 和 1,488,244 FPS 之间的帧速率传输流量。时钟速率的每 1 PPM 变化将转化为 1.488 FPS 的帧速率增加或减少。


在生产网络中,很难在很短的时间内看到精确的线速。以 99% 的线速和 100% 的线速丢弃数据包之间没有明显的区别。


通过 -100 PPM 调整,可以在 100% 的线速下测量线速。


线速应测量为 99.98%,调整为 0 PPM。


PPM 调整应该只用于线速测量。


6、 缓冲


6.1、 缓冲


6.1.1、 定义


Buffer Size:缓冲区大小。术语“缓冲区大小”表示 DUT 上可用的帧缓冲存储器的总量。此大小以 B(bytes,字节)、KB(kilobytes,千字节)、MB(megabytes,兆字节)或 GB(gigabytes,千兆字节)表示。当表示缓冲区大小时,还需要指示用于该测量的帧 MTU(Maximum Transmission Unit,最大传输单元)以及 CoS(Class of Service,服务等级)DSCP(Differentiated Services Code Point,差分服务代码点)值集,通常是缓冲区是由服务质量实现来划分的。有关详细信息,请参阅 [RFC8239] 的第 3 节。


示例:发送 1518 字节帧时 DUT 的 Buffer Size 为 18 MB。


Port Buffer Size:端口缓冲区大小。端口缓冲区大小是单个入口端口、单个出口端口或单个端口的入口和出口缓冲位置组合的缓冲区量。我们提到端口缓冲区的三个位置,因为 DUT 的缓冲方案可能未知或未经测试,因此了解缓冲区位置有助于阐明缓冲区架构,从而了解总缓冲区大小。端口缓冲区大小是 DUT 供应商可能提供的信息值。它不是通过基准测试测试的值。基准测试将使用最大端口缓冲区大小或最大缓冲区大小方法来完成。


Maximum Port Buffer Size:最大端口缓冲区大小。在大多数情况下,这与端口缓冲区大小相同。在称为“SoC”(switch on chip,片上交换机)的某种类型的交换机架构中,有一个端口缓冲区和一个可用于所有端口的共享缓冲池。最大端口缓冲区大小,就 SoC 缓冲区而言,表示端口缓冲区与该端口允许的共享缓冲区最大值之和,以 B(字节)、KB(千字节)、MB(兆字节)定义,或 GB(千兆字节)。最大端口缓冲区大小需要与用于测量的帧 MTU 以及为测试设置的 CoS 或 DSCP 位值一起表示。


示例:已测量 DUT 具有 3 KB 的端口缓冲区用于 1518 字节帧,总共有 4.7 MB 的最大端口缓冲区用于 1518 字节帧,CoS 为 0。


Maximum DUT Buffer Size:最大 DUT 缓冲区大小。这是可以测量 DUT 具有的总缓冲区大小。它很可能与最大端口缓冲区大小不同。它也可以不同于最大端口缓冲区大小的总和。最大缓冲区大小需要与用于测量的帧 MTU 以及测试期间设置的 CoS 或 DSCP 值一起表示。


示例:已测量 DUT 具有 3 KB 的端口缓冲区用于 1518 字节帧,总共有 4.7 MB 的最大端口缓冲区用于 1518 字节帧。DUT 在 1500 B 时的最大缓冲区大小为 18 MB,CoS 为 0。


Burst:突发。突发是针对定义的端口速度以一定百分比的线速发送的固定数量的数据包,发送的帧数量在间隔 T 上均匀分布。可以定义一个常数 C 来提供两个均匀间隔的连续数据包之间的平均时间。


Microburst:微突发。微突发是一种突发类型,当链路或设备上没有持续或明显的拥塞时会发生丢包。微突发的一个特征是突发不均匀分布在 T 上并且小于常数 C(C = 两个均匀间隔的连续数据包之间的平均时间)。


Intensity of Microburst:微突发强度。这是一个百分比,代表微突发的级别,介于 1 和 100% 之间。数字越高,微突发越高。

I=[1-[ (Tp2-Tp1)+(Tp3-Tp2)+....(TpN-Tp(n-1) ] / Sum(packets)]]*100


上述定义并不是要评论缓冲区的理想大小,而是要评论如何测量它。更大的缓冲区不一定更好,并且可能导致缓冲区膨胀问题。


6.1.2、 讨论


在 DUT 上测量缓冲时,了解每个端口的行为非常重要。这提供了交换机上可用缓冲总量的数据。缓冲区效率的术语有助于理解缓冲区的最佳数据包大小或特定数据包大小可用的缓冲区的实际容量。本节不讨论如何进行测试的方法;相反,它解释了缓冲区定义以及应为全面的数据中心设备缓冲基准测试提供哪些指标。


6.1.3、 测量单位


测量 DUT 缓冲器时:


- 必须测量缓冲区大小。

- 可以为每个端口提供端口缓冲区大小。

- 必须测量最大端口缓冲区大小。

- 必须测量最大 DUT 缓冲区大小。

- 进行微突发测试时,可以提及微突发的强度。

- 应提供测试期间设置的 CoS 或 DSCP 值。


6.2、 Incast


6.2.1、 定义


在数据中心中非常常用的术语“Incast”是指多对一或多对多的流量模式。正如本节所定义的,它测量入口和出口端口的数量以及归因于它们的同步百分比。通常,在数据中心,它会引用许多不同的入口服务器端口(许多),将流量发送到公共上行链路(多对一)或多个上行链路(多对多)。这种模式适用于任何网络,因为许多传入端口将流量发送到一个或几个上行链路。


Synchronous arrival time:同步到达时间。当两个或多个大小为 L1 和 L2 的帧到达它们各自的入口端口或多个入口端口并且 DUT 上的任何位的到达时间重叠时,则 L1 和 L2 帧具有同步到达时间。这称为“Incast”,无论模式是多对一(更简单)还是多对多。


Asynchronous arrival time:异步到达时间。这是“同步到达时间”未定义的任何条件。


Percentage of synchronization:同步百分比。这定义了大小为 L1、L2..Ln 的帧之间的重叠级别(位数)。


示例:两个长度为 L1 和 L2 的 64 字节帧到达 DUT 的入口端口 1 和端口 2。两者之间有 6.4 字节的重叠,其中 L1 和 L2 帧同时在各自的入口端口上。因此,同步的百分比为 10%。


Stateful traffic:有状态流量。有状态流量是使用有状态协议(例如 TCP)交换的数据包。


Stateless traffic:无状态流量。无状态流量是使用无状态协议(如 UDP)交换的数据包。


6.2.2、 讨论


在这种情况下,缓冲器用于 DUT。在入口缓冲机制中,入口端口缓冲区将与虚拟输出队列(如果可用)一起使用,而在出口缓冲机制中,将使用一个传出端口的出口缓冲区。


在任何一种情况下,无论缓冲存储器位于交换机架构中的哪个位置,Incast 都会创建缓冲区利用率。


当一个或多个帧在 DUT 具有同步到达时间时,它们被认为正在形成 Incast。


6.2.3、 测量单位


必须测量入口和出口端口的数量。


必须指定同步的非空百分比。


7、 应用吞吐量:数据中心吞吐量


7.1、 定义


在数据中心网络中,平衡网络是任何给定时间最大吞吐量和最小损失的函数。这由 Goodput [TCP-INCAST] 捕获。Goodput 是应用程序级别的吞吐量。对于标准 TCP 应用程序,非常小的损失会对应用程序吞吐量产生巨大影响。[RFC2647] 提供了 Goodput 的定义;本文档中的定义是该定义的变体。


Goodput 是每单位时间转发到 DUT 的正确目标接口的比特数,减去任何重新传输的比特。


7.2、 讨论


在数据中心基准测试中,有效产出是一个应该衡量的值。它提供了可用带宽使用的现实想法。数据中心环境的目标是最大化吞吐量,同时最小化损失。


7.3、 测量单位


然后通过以下公式测量 Goodput G:

G = (S/F) * V Bps


- S 表示有效负载字节,不包括数据包或 TCP 标头。

- F 是帧大小。

- V 是介质的速度,以每秒字节数为单位。


示例:在 10 GB/s 介质上通过 HTTP 传输 TCP 文件。


该文件不能作为单个连续流通过以太网传输。使用标准 MTU 时,必须将其分解为 1500 B 的单个帧。每个数据包需要20B的IP头信息和20B的TCP头信息;因此,每个数据包有 1460 B 可用于文件传输。基于 Linux 的系统进一步限制为 1448 B,因为它们还带有 12 B 时间戳。最后,在此示例中,数据通过以太网传输,这将每个数据包的1500 B增加26 B开销,将其增加到 1526 B。


G = 1460/1526 x 10 Gbit/s, 结果是9.567 Gbit/s 或者 1.196 GB/s。


请注意:此示例未考虑额外的以太网开销,例如帧间间隙(至少 96 位时间),也未考虑冲突(其影响可变,取决于网络负载)。


进行 Goodput 测量时,除了第 4.1 节中列出的项目外,请记录以下信息:


- 使用的 TCP 堆栈。

- 操作系统版本。

- 网络接口卡 (Network Interface Card,NIC) 固件版本和型号。


例如,Windows TCP 堆栈和不同的 Linux 版本会影响基于 TCP 的测试结果。


8、 安全考虑


本备忘录中描述的基准测试活动仅限于在实验室环境中使用受控刺激进行技术表征,具有专用地址空间和上述部分中指定的约束。


基准网络拓扑将是一个独立的测试设置,不得连接到可能将测试流量转发到生产网络或将流量错误路由到测试管理网络的设备。


此外,基准测试是在“黑盒”基础上执行的,仅依赖于 DUT 外部可观察到的测量值。


DUT 中不应存在专门用于基准测试的特殊功能。DUT 对网络安全的任何影响在实验室和生产网络中应该是相同的。


9、 IANA 考虑事项


本文档不需要任何 IANA 操作。


10、 参考文献


10.1、 规范性参考


[RFC1242] Bradner, S., "Benchmarking Terminology for Network Interconnection Devices", RFC 1242, DOI 10.17487/RFC1242, July 1991, <https://www.rfc-editor.org/info/rfc1242>.
[RFC2119] Bradner, S., "Key words for use in RFCs to Indicate Requirement Levels", BCP 14, RFC 2119, DOI 10.17487/RFC2119, March 1997, <https://www.rfc-editor.org/info/rfc2119>.
[RFC2544] Bradner, S. and J. McQuaid, "Benchmarking Methodology for Network Interconnect Devices", RFC 2544, DOI 10.17487/RFC2544, March 1999, <https://www.rfc-editor.org/info/rfc2544>.
[RFC5481] Morton, A. and B. Claise, "Packet Delay Variation Applicability Statement", RFC 5481, DOI 10.17487/RFC5481, March 2009, <https://www.rfc-editor.org/info/rfc5481>.
[RFC8174] Leiba, B., "Ambiguity of Uppercase vs Lowercase in RFC 2119 Key Words", BCP 14, RFC 8174, DOI 10.17487/RFC8174, May 2017, <https://www.rfc-editor.org/info/rfc8174>.
[RFC8239] Avramov, L. and J. Rapp, "Data Center Benchmarking Methodology", RFC 8239, DOI 10.17487/RFC8239, August 2017, <https://www.rfc-editor.org/info/rfc8239>.


10.2、 参考资料


[RFC2432] Dubray, K., "Terminology for IP Multicast Benchmarking", RFC 2432, DOI 10.17487/RFC2432, October 1998, <https://www.rfc-editor.org/info/rfc2432>.
[RFC2647] Newman, D., "Benchmarking Terminology for Firewall Performance", RFC 2647, DOI 10.17487/RFC2647, August 1999, <https://www.rfc-editor.org/info/rfc2647>.
[RFC2889] Mandeville, R. and J. Perser, "Benchmarking Methodology for LAN Switching Devices", RFC 2889, DOI 10.17487/RFC2889, August 2000, <https://www.rfc-editor.org/info/rfc2889>.
[RFC3918] Stopp, D. and B. Hickman, "Methodology for IP Multicast Benchmarking", RFC 3918, DOI 10.17487/RFC3918, October 2004, <https://www.rfc-editor.org/info/rfc3918>.
[TCP-INCAST] Chen, Y., Griffith, R., Zats, D., Joseph, A., and R. Katz, "Understanding TCP Incast and Its Implications for Big Data Workloads", April 2012, <http://yanpeichen.com/professional/usenixLoginIncastReady.pdf>.


致谢


作者要感谢 Al Morton、Scott Bradner、Ian Cox 和 Tim Stevenson 的评论和反馈。

相关文章
|
6月前
|
测试技术
安全测试需要了解的一些专业术语
安全测试需要了解的一些专业术语
|
1月前
|
Shell
红队渗投测试术语-课程笔记
红队渗投测试术语-课程笔记
|
9天前
|
人工智能 安全 Linux
网络空间安全之一个WH的超前沿全栈技术深入学习之路(4-2):渗透测试行业术语扫盲完结:就怕你学成黑客啦!)作者——LJS
网络空间安全之一个WH的超前沿全栈技术深入学习之路(4-2):渗透测试行业术语扫盲完结:就怕你学成黑客啦!)作者——LJS
|
9天前
|
安全 大数据 Linux
网络空间安全之一个WH的超前沿全栈技术深入学习之路(3-2):渗透测试行业术语扫盲)作者——LJS
网络空间安全之一个WH的超前沿全栈技术深入学习之路(3-2):渗透测试行业术语扫盲)作者——LJS
|
9天前
|
SQL 安全 网络协议
网络空间安全之一个WH的超前沿全栈技术深入学习之路(1-2):渗透测试行业术语扫盲)作者——LJS
网络空间安全之一个WH的超前沿全栈技术深入学习之路(1-2):渗透测试行业术语扫盲)作者——LJS
|
4月前
|
安全 Shell 网络安全
渗透测试中常用术语
渗透测试中常用术语解释
52 1
|
6月前
|
安全 网络协议 网络安全
渗透测试常用名词术语介绍
渗透测试常用名词术语介绍
337 0
|
Java 测试技术 数据库连接
MyBatis基本用法 && 什么是自动化测试 && Spring事务和事务传播机制 && 性能测试概念和术语 && Loadrunner安装
MyBatis基本用法 && 什么是自动化测试 && Spring事务和事务传播机制 && 性能测试概念和术语 && Loadrunner安装
84 0
|
网络协议 安全 Unix
数据中心基准测试方法
本文档是 Internet 工程任务组 (IETF) 的产品。它代表了 IETF 社区的共识。它已接受公众审查,并已获互联网工程指导小组 (IESG) 批准出版。并非 IESG 批准的所有文件都适用于任何级别的互联网标准;请参阅 RFC 7841 的第 2 节。
205 0
数据中心基准测试方法
|
测试技术 程序员 项目管理
测试思想 测试术语定义
测试思想 测试术语定义
105 0