Obține doar 25 Gb/s în loc de 100 Gb/s de la un comutator Mellanox care rulează Cumulus Linux

Am un comutator Mellanox 100gb/s (care rulează Cumulus Linux 4.1) pe care îl folosesc pentru conectarea mai multor servere, fiecare cu un card Mellanox ConnectX 5 100gb/s. Aceste servere se conectează la comutator printr-un cablu DAC. În timp ce funcționează, pot obține doar o viteză a portului de 25 Gb/s.

Am verificat comutatorul și s-ar părea că fiecare port de comutare QSFP operează în schimb 4 porturi individuale de 25 Gb/s, așa cum este indicat de tabelul de mai jos. Serverele sunt conectate pe porturile swp1 la 8.

cumulus@cumulus:mgmt:~$ net arată interfața pe toate
State Name Spd MTU Mode LLDP Rezumat
----- ------- ---- ----- --------- -------------------- ------- ------------------
UP lo N/A 65536 Loopback IP: 127.0.0.1/8
       la IP: ::1/128
UP eth0 100M 1500 Mgmt SomeOtherSwitch (24) Master: mgmt(UP)
       eth0 IP: 172.20.72.5/24
UP swp1s0 25G 9216 Trunk/L2 Master: bridge(UP)
DN swp1s1 N/A 9216 Implicit                                 
DN swp1s2 N/A 9216 Implicit
DN swp1s3 N/A 9216 Implicit
UP swp2s0 25G 9216 Trunk/L2 Master: bridge(UP)
DN swp2s1 N/A 9216 Implicit
DN swp2s2 N/A 9216 Implicit
DN swp2s3 N/A 9216 Implicit
UP swp3s0 25G 9216 Trunk/L2 Master: bridge(UP)
DN swp3s1 N/A 9216 Implicit
DN swp3s2 N/A 9216 Implicit
DN swp3s3 N/A 9216 Implicit
UP swp4s0 25G 9216 Trunk/L2 Master: bridge(UP)
DN swp4s1 N/A 9216 Implicit
DN swp4s2 N/A 9216 Implicit
DN swp4s3 N/A 9216 Implicit
UP swp5s0 25G 9216 Trunk/L2 Master: bridge(UP)
DN swp5s1 N/A 9216 Implicit
DN swp5s2 N/A 9216 Implicit
DN swp5s3 N/A 9216 Implicit
UP swp6s0 25G 9216 Trunk/L2 Master: bridge(UP)
DN swp6s1 N/A 9216 Implicit
DN swp6s2 N/A 9216 Implicit
DN swp6s3 N/A 9216 Implicit
UP swp7s0 25G 9216 Trunk/L2 Master: bridge(UP)
DN swp7s1 N/A 9216 Implicit
DN swp7s2 N/A 9216 Implicit
DN swp7s3 N/A 9216 Implicit
UP swp8s0 25G 9216 Trunk/L2 Master: bridge(UP)
DN swp8s1 N/A 9216 Implicit
DN swp8s2 N/A 9216 Implicit

Potrivit ethtool, serverele acceptă modul de legătură dorit de 100 gbps prin cardurile sale ConnectX:

Setări pentru enp175s0f0:
        Porturi acceptate: [ Backplane ]
        Moduri de legătură acceptate: 1000baseKX/Full
                                10000KR de bază/Complet
                                40000 de bazăKR4/Complet
                                40000 de bazăCR4/Complet
                                40000bazăSR4/Complet
                                40000bazăLR4/Complet
                                25000baseCR/Full
                                25000KR de bază/Complet
                                25000baseSR/Complet
                                50000baseCR2/Complet
                                50000 de bazăKR2/Complet
                                100000KR4 de bază/Complet
                                100000bazăSR4/Complet
                                100000baseCR4/Complet
                                100000baseLR4_ER4/Full
        Utilizare acceptată a cadrului de pauză: simetric
        Suportă auto-negociere: Da
        Moduri FEC acceptate: Nu sunt raportate
        Moduri de link anunțate: 1000baseKX/Full
                                10000KR de bază/Complet
                                40000 de bazăKR4/Complet
                                40000 de bazăCR4/Complet
                                40000bazăSR4/Complet
                                40000bazăLR4/Complet
                                25000baseCR/Full
                                25000KR de bază/Complet
                                25000baseSR/Complet
                                50000baseCR2/Complet
                                50000 de bazăKR2/Complet
                                100000KR4 de bază/Complet
                                100000bazăSR4/Complet
                                100000baseCR4/Complet
                                100000baseLR4_ER4/Full
        Utilizarea cadrului de pauză anunțată: simetrică
        Auto-negociere anunțată: Da
        Moduri FEC anunțate: Nu sunt raportate
        Partenerul de legături anunțat moduri de link: neraportat
        Utilizarea cadrului de pauză anunțat de partenerul de link: Nu
        Partenerul de legături a anunțat negociere automată: Da
        Partenerul de link anunțat modurile FEC: neraportat
        Viteza: 25000 Mb/s
        Duplex: complet
        Port: cupru cu atașare directă
        PHYAD: 0
        Transceiver: intern
        Auto-negociere: activată
        Suporta Wake-on: d
        Trezire: d
        Nivelul curent al mesajului: 0x00000004 (4)
                               legătură
        Link detectat: da

Am omis ceva când am configurat asta? Am încercat să setez manual viteza conexiunii la 100000, dar fără nicio modificare netă.

Am găsit referințe la /etc/cumulus/ports.conf și s-ar părea că porturile în cauză au fost de fapt configurate să funcționeze ca porturi 4x 25G.

Am editat acest fișier de configurare la ceva mai pe placul meu, iar mai jos este o configurație care funcționează pentru mine:

cumulus@cumulus:mgmt:~$ cat /etc/cumulus/ports.conf
# ports.conf --
#
# Acest fișier controlează viteza portului, agregarea și subdiviziunea.
#
# De exemplu, porturile QSFP28 pot fi împărțite în mai multe interfețe. Acest
# fișier stabilește numărul de interfețe pe port și viteza acelor interfețe.
#
# Trebuie să reîncărcați switchd pentru ca modificările să aibă efect.
#
# mlnx,x86_MSN2100 are:
# 16 porturi QSFP28 numerotate 1-16
# Aceste porturi sunt configurabile ca 40G, 50G, 2x50G sau 100G; sau un subset
# dintre ele pot fi împărțite în 4x25G sau 4x10G.
#

# porturi QSFP28
#
# <etichetă port> = [40G|50G|100G]
# sau când este împărțit = [2x50G|4x10G|4x25G]
1=100G
2=100G
3=100G
4=100G
5=100G
6=100G
7=100G
8=100G
9=100G
10=100G
11=100G
12=100G
13=100G
14=100G
15=100G
16=4x10G