多功能PCIE交换机之七:单NT到双NT

本文涉及的产品
公网NAT网关,每月750个小时 15CU
简介:

1.单NTB设置

NTB有多种使用方式,一种常使用的模式是单NT Active-Passive模式,整体结构如下图:


wKiom1hT_hiR2kKYAACXfqXR1ZM288.png

为了实现这种模式,具体到EEPROM设置上,它要求保证节点0上的EEPROM里使能NT0,并且保证bar4/5的窗口是大小不小于目的地址空间的大小。而在节点1上的NTB都disable 掉.


考虑到fail-over和上电重启,这种设置会造成下面的问题:


在每次两个节点同时上电的情况下,如果Passive节点先于Active节点启动,Passive节点的BIOS和内核启动时无法探测到NTB设备,更无法为它分配PCI memory和IO地址空间。如果此时仲裁确定的双控master 节点刚好是Passive节点,那么在后续有IO的时候,它无法通过NTB把数据同步到远端节点。


在之前作为双控master节点被新的master节点杀死后的重启的过程当中,新的双控master节点此时也无法看到PLX NTB物理设备,此时NTB通道无法传递数据。


2. 实现双NT的改动

虽然可以通过每次上电时保证让active节点先启动的方式来确保上电后的NTB通路可用,但是这种方式显然对客户不太友好,而且会延长系统启动时间。为了从根本上解决这个问题,有必实现双NTB,通过完全对称的方式来使用NTB,彻底避免单NT对启动顺序的限制。


基于单NT的实现原理,以及参考设计和NTB芯片手册,我们可以实现下图所示意的双NT:


wKiom1k44PvjLODJAACY5Zy1-iU265.png


具体而言,可以通过下面的几个步骤来实现:

a.更新之前NT被禁止一侧的NTB eeprom, 把它配置成和NT使能一侧同样的设置:

b.设置本地和远端的地址转换寄存器


master 端virtual port 的地址转换寄存器设置成salve端NTB link port bar2/3或者bar4/5的mem 起始地址;


slave端 virtual port bar2/3或者bar4/5的地址转换寄存器设置成目的地址的总线地址;


这样做的目的是把远端的目的地址映射到远端bar2/3或bar4/5的PCI memory地址,把远端bar2/3或bar4/5的PCI memory地址映射到本地bar2/3或bar4/5的PCI memory地址。


在做master-slave Fail-over切换的时候,新的master/slave节点相关地址转换寄存器的值依旧依据上面的规则进行设置。


为了支持这种模式下更平滑的的fail-over,找到两组bar,比如一组是bar4/5,它用在节点0根据上面的规则访问节点1的时候,另外一组是bar2/3,它用在节点1根据上面的规则来访问节点0的时候,在此设置的情况下,即便发生系统级别的fail-over,也不需要更改任何地址转换寄存器的设置.


c . 设置ReqID

根据PLX Ethan Wan的证实,ReqID的设置和之前单NT一样。























本文转自存储之厨51CTO博客,原文链接:http://blog.51cto.com/xiamachao/1883499 ,如需转载请自行联系原作者


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
相关文章
|
25天前
|
负载均衡 数据安全/隐私保护 网络架构
理解网络交换机:L2与L3交换机的功能与区别
理解网络交换机:L2与L3交换机的功能与区别
37 0
|
2月前
|
网络协议 网络性能优化 网络虚拟化
【亮剑】介绍了华为三层交换机的配置命令,包括基本配置(系统启动、接口配置、基础设置)、路由协议(OSPF、BGP)配置和高级功能(VLAN、ACL、QoS)配置
【4月更文挑战第30天】本文介绍了华为三层交换机的配置命令,包括基本配置(系统启动、接口配置、基础设置)、路由协议(OSPF、BGP)配置和高级功能(VLAN、ACL、QoS)配置。通过这些命令,网络工程师可以有效地管理设备、优化网络性能并解决网络问题。熟练掌握这些命令对于提升网络运行效率至关重要。
|
10月前
|
存储 安全 数据安全/隐私保护
交换机 功能详解
交换机 功能详解
934 1
|
网络虚拟化 数据安全/隐私保护
交换机vtp功能配置
交换机vtp功能配置
253 7
|
网络安全 网络架构
OSI七层模型的各个功能?路由器与交换机的区别?冲突域,广播域
OSI七层模型的各个功能?路由器与交换机的区别?冲突域,广播域
120 0
OSI七层模型的各个功能?路由器与交换机的区别?冲突域,广播域
WLAN无线局域网技术 基础(二)PoE与PoE交换机的功能,二层组网和三层组网的概念与方式,有线组网概念:直连式组网、旁挂式组网,CAPWAP协议
WLAN无线局域网基础、讲述了有线侧组网的概念,PoE与PoE交换机的功能,二层组网和三层组网的概念与方式,直连式组网、旁挂式组网,CAPWAP协议
WLAN无线局域网技术 基础(二)PoE与PoE交换机的功能,二层组网和三层组网的概念与方式,有线组网概念:直连式组网、旁挂式组网,CAPWAP协议
|
监控 安全 网络安全
工业交换机具体功能作用是什么
工业交换机也称工业以太网交换机,是工作在OSI第二层(数据链路层,见WAN的定义)的网络设备,基于MAC(网卡的媒体访问控制地址)进行识别,能够完成封装和转发数据包的功能。那么,工业交换机有哪些功能作用呢?接下来,让我们一起去了解更多吧!
|
存储
DID功能在电话交换机中意思及设置
Direct Inward Dialing,即直接拨⼊。DID 号码是运营商分配的⻓号,全⽹唯⼀。具有DID 号码的企业内⽤⼾呼叫企业外⽤⼾时,根据系统配置,可以对外直接显⽰DID 号码。企业外⽤⼾可以直拨该号码呼通该⽤⼾。可以为DID 号码配置⼀个对应的短号(分机号),该短号⽤于企业内⽤⼾间互拨。