Mellanox Infiniband网卡如何切换IB/Ethernet/VPI工作模式

查看网卡的当前工作状态

执行ibstat, 返回的Link layer信息, 就是网卡的工作模式

knightli@epyc:~$ sudo ibstat
CA 'mlx4_0'
        CA type: MT4103
        Number of ports: 2
        Firmware version: 2.42.5700
        Hardware version: 0
        Node GUID: 0x98f2b3ffffd5c3c0
        System image GUID: 0x98f2b3ffffd5c3c3
        Port 1:
                State: Down
                Physical state: Disabled
                Rate: 40
                Base lid: 0
                LMC: 0
                SM lid: 0
                Capability mask: 0x00010000
                Port GUID: 0x9af2b3fffed5c3c1
                Link layer: Ethernet
        Port 2:
                State: Down
                Physical state: Disabled
                Rate: 40
                Base lid: 0
                LMC: 0
                SM lid: 0
                Capability mask: 0x00010000
                Port GUID: 0x9af2b3fffed5c3c2
                Link layer: Ethernet

切换工作模式

安装mst软件

root@epyc:/home/knightli# systemctl start mst

查询设备名称

MST devices下就是返回的设备名，注意2个端口也对应一个设备名

root@epyc-7551p:/home/knightli# mst status
MST modules:
------------
    MST PCI module loaded
    MST PCI configuration module loaded

MST devices:
------------
/dev/mst/mt4103_pciconf0         - PCI configuration cycles access.
                                   domain:bus:dev.fn=0000:28:00.0 addr.reg=88 data.reg=92 cr_bar.gw_offset=-1
                                   Chip revision is: 00
/dev/mst/mt4103_pci_cr0          - PCI direct access.
                                   domain:bus:dev.fn=0000:28:00.0 bar=0xeb700000 size=0x100000
                                   Chip revision is: 00

切换工作模式

mlxconfig -d /dev/mst/mt4103_pciconf0 设置 LINK_TYPE_P1=1

• -d 设备名称
• LINK_TYPE
  LINK_TYPE_P1 : 端口1
  LINK_TYPE_P2 : 端口2
  1 : IB
  2 : Ethernet
  3 : VPI

root@epyc:/home/knightli# mlxconfig -d /dev/mst/mt4103_pciconf0 set LINK_TYPE_P1=1

Device #1:
----------

Device type:    ConnectX3Pro    
Device:         /dev/mst/mt4103_pciconf0

Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)           IB(1)           

 Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

root@epyc:/home/knightli# mlxconfig -d /dev/mst/mt4103_pciconf0 set LINK_TYPE_P2=1

Device #1:
----------

Device type:    ConnectX3Pro    
Device:         /dev/mst/mt4103_pciconf0

Configurations:                              Next Boot       New
         LINK_TYPE_P2                        IB(1)           IB(1)           

 Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.
 

重启主机

root@epyc-7551p:/home/knightli# sudo reboot