这里使用IB卡型号是mellanox ConnectX-3 MCX353A-FCBT。rocky自带了IB驱动,直接能够识别IB网口,但要在NetworkManager配置生效还需要做一些操作。
建议安装Infiniband Support包。
dnf groupinstall -y "Infiniband"
然后查看端口配型,需要安装mstflint工具
dnf install mstflint
检查ib的设备的pci地址
[root@storage01 ~]# lspci | grep Mellanox -i
65:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3]
然后修改网口类型,从下述可以看到它原本的模式是VPI,这个类型无法配置IPoIB,我们将它修改为IB类型,然后重启机器
[root@storage01 ~]# mstconfig -d 65:00.0 s LINK_TYPE_P1=IB
Device #1:
----------
Device type: ConnectX3
Device: 65:00.0
Configurations: Next Boot New
LINK_TYPE_P1 VPI(3) IB(1)
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.
[root@storage01 ~]#
重启完成后,我们可以用nmtui添加infiniband配置了
可以修改成下述配置(注意:IPoIB 设备可在 Datagram
或 Connected
模式中配置。两者的区别可以参考这里第 6 章 配置 IPoIB Red Hat Enterprise Linux 8 | Red Hat Customer Portal)