多功能PCIE交换机之四:非透明桥NTB

本文涉及的产品
公网NAT网关,每月750个小时 15CU
简介:


多功能PCIE交换机的一个重要组成部分就是非透明桥,正是因为有了非透明桥,使得它在现在的双活设计、高可用性方面成为了一个必不可少的器件。 为了让大家对PCIE非透明桥有个直观的了结,下面主要基于PLX87xx系列上 上的非透明桥进行说明。


8717用做两台或多台服务器的容错设计时,主要的有两种形式,一种是Active-Passive模式:两台服务器一端连接到Link Port,一端连接到virtual port, 这种配置直支持一次Failover.另外一种就是Active-Active,典型的应用场景就是两台机器通过两个8717形成背靠背的链接。由于有两个NTB,并且两侧机器都是对称的设计,上面的这种方式支持容错后的恢复:即在容错步骤启动之后,如果之前出现问题的主机得到修复,还能够让它接管现在的主控设备,成为主控,而另外一台主机继续充当从机的角色。只要Failover后出现问题的机器能得到及时的修复或者替换,这样的设计能够支持无限次数的Failover

8717地址空间

作为一个典型的支持多根节点的PCIE Switch,它既有自己的扩展配置空间,支持ECMA访问,同时也必须提供访问自身、端口和DMA通道相关的寄存器访问的方法。掌握了每个端口和子功能的访问方式,也就深入理解了8717的结构。

  • 8717的基址寄存器(BAR)

8717Bar0/Bar1用做ECAMBar4~Bar5和普通的Bar功能上没有区别,只是它们后来用在接受upstream端口发送来的memory access是否命中所在的窗口,在的话把它们发送到下级总线或设备。(根据virtual port或者link port对应的Bar进行地址高位的转化,并且转发给对侧节点。)

  • 8717的ECMA

由于8717实现的功能很多,即便扩展的PCI配置空间也无法容下所有功能的寄存器,为了便于对所有功能的访问,根节点实现了memory access configuration access的转换,把那些功能的配置空间上的寄存器都映射到8717BAR0所指定的内存空间(ECAM),转换后的配置空间地址如下表所示:

需要注意的是,上面并不是把所有的NT端口和DMA通道的配置空间都映射到8717 Root port(Upstream port)的[bar0]上,只是说8717upstream portDMAVirtual portLink Port公享上面的示意图,但都需要配置自己的bar0/bar1.

  • NT Link Port 的配置空间和内存空间

先配置Bar0/Bar 1

NT1Link Port配置空间位于[BAR0]+0x3_D000mem空间在[bar2~bar5]

NT0Link Port配置空间位于[BAR0]+0x3_F000mem空间在[bar2~bar5]

Bar Setup寄存器:

BAR0/1 Setup寄存器:          offset E4H

BAR2/3 Setup寄存器:        offset E8H/ECH

BAR4/5 Setup寄存器:        offset F0H/F4H

对应的地址转换寄存器在:

BAR2地址转换寄存器低位:    offset C3CH

BAR2/3地址转换寄存器高位: offset C40H

BAR2地址转换寄存器低位:    offset C44H

BAR2/3地址转换寄存器高位: offset C48H


  • NT Virtual Port 的配置空间和内存空间

先配置Bar0/Bar 1

NT1Virtual Port配置空间位于[BAR0]+0x3_C000mem空间在[bar2~bar5]

NT0Virtual Port配置空间位于[BAR0]+0x3_E000mem空间在[bar2~bar5]

Ntx Virtual Port都有一组地址翻译寄存器,它的偏移在:

Bar Setup寄存器:

BAR0/1 Setup寄存器:          offset D0H

BAR2/3 Setup寄存器:        offset D4H/D8H

BAR4/5 Setup寄存器:        offset DCH/E0H


对应的地址转换寄存器在:

BAR2地址转换寄存器低位:    offset C3CH

BAR2/3地址转换寄存器高位: offset C40H

BAR2地址转换寄存器低位:    offset C44H

BAR2/3地址转换寄存器高位: offset C48H

8717地址转换

因为8717是用来连接不同的host,不同的host可能会有不同的地址空间,无论是Active-Active还是Active-Passive模式,都需要跨host域进行读写,为了保证读写到期望的地址,需要实现正确的地址转换。8717提供了两种地址转换方式:直接地址转换和基于查找表的地址转换。

    8717 直接地址转换

直接地址转换就是根据设置地址转换寄存器的设置,把命中当前Bar的地址转换成设置的值,然后丢到对侧节点。

 8717 A-LUR地址转换

基于8717bar2/3,实现了一个bar上对多个地址的转换,这些地址甚至可以映射到不同的host上去。当然实现对多个host上述地址转换和映射的前提是需要一个额外的PCIE桥:

8717ReqID-LUR ID转换 

根据PCIE规范,TLP报文中包含了Request ID,事务处理完之后会返回的TLP中包含期望的completion ID,用来确保一次PCIE事务的正确完成。由于NTB需要跨越多个host域,对侧host访 问本侧memory空间,依赖于NTB接管并继续发送TLP访问请求,但是对侧host和本侧NTBRequest ID显然不同,为此,除了实现Address Translate之外,还需要实现RequestID的转换。8717引入了ReqID-LUT来实现这一转换。因此除了设置上面的地址转换寄存器之外,还需要设置正确的ReqID。










本文转自存储之厨51CTO博客,原文链接: http://blog.51cto.com/xiamachao/1728715,如需转载请自行联系原作者



相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
相关文章
|
23天前
|
负载均衡 数据安全/隐私保护 网络架构
理解网络交换机:L2与L3交换机的功能与区别
理解网络交换机:L2与L3交换机的功能与区别
33 0
|
2月前
|
网络协议 网络性能优化 网络虚拟化
【亮剑】介绍了华为三层交换机的配置命令,包括基本配置(系统启动、接口配置、基础设置)、路由协议(OSPF、BGP)配置和高级功能(VLAN、ACL、QoS)配置
【4月更文挑战第30天】本文介绍了华为三层交换机的配置命令,包括基本配置(系统启动、接口配置、基础设置)、路由协议(OSPF、BGP)配置和高级功能(VLAN、ACL、QoS)配置。通过这些命令,网络工程师可以有效地管理设备、优化网络性能并解决网络问题。熟练掌握这些命令对于提升网络运行效率至关重要。
|
10月前
|
存储 安全 数据安全/隐私保护
交换机 功能详解
交换机 功能详解
934 1
|
网络虚拟化 数据安全/隐私保护
交换机vtp功能配置
交换机vtp功能配置
252 7
|
网络安全 网络架构
OSI七层模型的各个功能?路由器与交换机的区别?冲突域,广播域
OSI七层模型的各个功能?路由器与交换机的区别?冲突域,广播域
120 0
OSI七层模型的各个功能?路由器与交换机的区别?冲突域,广播域
WLAN无线局域网技术 基础(二)PoE与PoE交换机的功能,二层组网和三层组网的概念与方式,有线组网概念:直连式组网、旁挂式组网,CAPWAP协议
WLAN无线局域网基础、讲述了有线侧组网的概念,PoE与PoE交换机的功能,二层组网和三层组网的概念与方式,直连式组网、旁挂式组网,CAPWAP协议
WLAN无线局域网技术 基础(二)PoE与PoE交换机的功能,二层组网和三层组网的概念与方式,有线组网概念:直连式组网、旁挂式组网,CAPWAP协议
|
监控 安全 网络安全
工业交换机具体功能作用是什么
工业交换机也称工业以太网交换机,是工作在OSI第二层(数据链路层,见WAN的定义)的网络设备,基于MAC(网卡的媒体访问控制地址)进行识别,能够完成封装和转发数据包的功能。那么,工业交换机有哪些功能作用呢?接下来,让我们一起去了解更多吧!
|
存储
DID功能在电话交换机中意思及设置
Direct Inward Dialing,即直接拨⼊。DID 号码是运营商分配的⻓号,全⽹唯⼀。具有DID 号码的企业内⽤⼾呼叫企业外⽤⼾时,根据系统配置,可以对外直接显⽰DID 号码。企业外⽤⼾可以直拨该号码呼通该⽤⼾。可以为DID 号码配置⼀个对应的短号(分机号),该短号⽤于企业内⽤⼾间互拨。