Puncte:0

Dell R530 Broadcom NetXtreme tg3 nic limitat la 12 MBytes/s

drapel um

Am un Dell R530 mai vechi:

Producatorul Dell Inc.
Model PowerEdge R530
CPU 16 procesoare x procesor Intel(R) Xeon(R) E5-2630 v3 la 2,40 GHz
Memorie 63,78 GB

are 8 NIC-uri, dintre care 3 sunt tg3, Broadcom NetXtreme BCM5720:

vmnic0 0000:02:00.0 tg3 Up Up 1000 Full 14:18:77:5e:a6:de 1500 Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet
vmnic2 0000:03:00.0 tg3 Up Up 1000 Full 14:18:77:5e:a6:e0 1500 Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet
vmnic3 0000:03:00.1 tg3 Sus Jos 0 Jumătate 14:18:77:5e:a6:e1 1500 Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet

Pentru viața mea, nu-i pot face să trimită trafic la o rată mai mare de ~12 MBytes/secundă:

--------------------------------------------- ---------
Serverul ascultă pe 5201
--------------------------------------------- ---------
Conexiune acceptată de la 192.168.1.117, portul 50971
[ 5] local 192.168.1.148 portul 5201 conectat la 192.168.1.117 portul 50972
[ ID] Lățimea de bandă de transfer pe interval
[ 5] 0,00-1,00 sec 11,2 MBytes 93,6 Mbits/sec
[ 5] 1,00-2,00 sec 11,2 MBytes 93,9 Mbits/sec
[ 5] 2,00-3,00 sec 11,2 MBytes 93,9 Mbits/sec
[ 5] 3.00-4.00 sec 11.2 MBytes 94.1 Mbits/sec
[ 5] 4.00-5.00 sec 11.2 MBytes 94.0 Mbits/sec
[ 5] 5.00-6.00 sec 11.2 MBytes 94.0 Mbits/sec
[ 5] 6.00-7.00 sec 11.2 MBytes 94.1 Mbits/sec
[ 5] 7.00-8.00 sec 11.2 MBytes 94.1 Mbits/sec
[ 5] 8.00-9.00 sec 11.2 MBytes 94.1 Mbits/sec
[ 5] 9.00-10.00 sec 11.2 MBytes 94.1 Mbits/sec
[ 5] 10.00-10.05 sec 573 KBytes 93.9 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Lățimea de bandă de transfer pe interval
[ 5] 0,00-10,05 sec 0,00 octeți 0,00 biți/sec expeditor
[ 5] 0,00-10,05 sec 113 MBytes 94,0 Mbits/sec receptor

Doar pentru dovada că nu este rețea, alte servere obțin performanța așteptată:

[ 6] local 192.168.1.117 portul 50998 conectat la 192.168.1.242 portul 5201
[ ID] Lățimea de bandă de transfer pe interval
[ 6] 0,00-1,00 sec 75,9 MBytes 637 Mbits/sec
[ 6] 1,00-2,00 sec 113 MBytes 944 Mbits/sec
[ 6] 2.00-3.00 sec 113 MBytes 944 Mbits/sec
[ 6] 3.00-4.00 sec 112 MBytes 935 Mbits/sec
[ 6] 4.00-5.00 sec 113 MBytes 946 Mbits/sec
[ 6] 5.00-6.00 sec 112 MBytes 939 Mbits/sec
[ 6] 6.00-7.00 sec 110 MBytes 922 Mbits/sec
[ 6] 7.00-8.00 sec 109 MBytes 918 Mbits/sec
[ 6] 8.00-9.00 sec 102 MBytes 856 Mbits/sec
[ 6] 9.00-10.00 sec 102 MBytes 854 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Lățimea de bandă de transfer pe interval
[ 6] 0,00-10,00 sec 1,04 GBytes 890 Mbits/sec expeditor
[ 6] 0,00-10,00 sec 1,04 GBytes 889 Mbits/sec receptor

Am actualizat firmware-ul/driverele cât de mult am putut. Conform https://www.broadcom.com/products/ethernet-connectivity/network-ics/bcm5720-1gbase-t-ic se pare că cel mai recent firmware este 3.137 pe care l-am instalat:

[root@esxi:~] esxcli network nic get -n vmnic0
   Negociere automată anunțată: adevărat
   Moduri de legătură anunțate: 10baseT/Half, 10baseT/Full, 100baseT/Half, 100baseT/Full, 1000baseT/Half, 1000baseT/Full
   Negociere automată: adevărat
   Tip cablu: pereche răsucită
   Nivelul curent al mesajului: 4260095
   Informații șofer:
         Informații despre autobuz: 0000:02:00.0
         Driver: tg3
         Versiune de firmware: FFV7.10.64 bc 5720-v1.36
         Versiune: 3.137l.v60.1
   Link detectat: adevărat
   Stare link: Up
   Nume: vmnic0
   PHYAdresa: 1
   Pauză Autonegociare: adevărat
   Pauză RX: adevărat
   Pauză TX: adevărat
   Porturi acceptate: TP
   Acceptă negocierea automată: adevărat
   Suportă Pauză: adevărat
   Suportă Wakeon: adevărat
   Transceiver: intern
   Adresă virtuală: 00:00...[snip]
   Wakeon: MagicPacket(tm)

Toate diagnosticele/raportul de stare că este conectat la 1000 plin și am încercat mai multe NIC-uri, cabluri și comutatoare, toate cu același rezultat.

am cheltuit ore încercând să-mi dau seama, și toate căutările și testele pe Google nu m-au dus nicăieri. Are cineva idee ce altceva pot încerca sau verifica?

De asemenea, am încercat să setez manual viteza conexiunii, dar se negociază deja automat la 1000.

vmnic0 1000Mbps auto-negociare

jmk avatar
drapel vn
jmk
Sunteți sigur că nu aveți configurații de 100 MB în testele dvs.? 12MB arată ca limita de 100Mbit
stormdrain avatar
drapel um
Nu sunt sigur că am înțeles, te referi la rezultatele testelor? Folosesc exact aceleași comenzi pe ambele, folosind iperf3: `iperf3 -c host` pe client și `iperf3 -s` pe server - nu stabilesc alte opțiuni. De asemenea, am încercat pe mai mulți clienți/servere întotdeauna cu același rezultat. Obțin, de asemenea, aceeași performanță cu alte aplicații (performanța slabă a backupului a dezvăluit problema). Mulțumiri.
jmk avatar
drapel vn
jmk
există componente de 100 MBit între server și client? Pe sistemele mai vechi, am avut probleme cu negocierea automată, puteți verifica și dacă performanța crește dacă setați manual vitezele conexiunii.
stormdrain avatar
drapel um
Fără componente de 100 MBit, gazda este într-un rack cu alte echipamente conectate în același mod care rulează bine 1 GB. Cu siguranță gazda/nic. Am încercat să setez 1000 half și full duplex cu același rezultat, dar oricum se negociază automat la 1000. Mulțumiri.
batistuta09 avatar
drapel vn
Ce dimensiune MTU are vSwitch pentru Broadcom? Încercați să schimbați la 1500 implicit, dacă Jumbo este activat.
stormdrain avatar
drapel um
MTU este 1500; MTU rețeaua noastră este 1472 conform testului ping. Jumbo nu este activat.
Zac67 avatar
drapel ru
Cauze posibile: configurație/limită vNIC, configurație/limită de grup de porturi, control/limitare QoS/lățime de bandă de către MAC/IP în comutatorul de uplink fizic. PNIC-ul este legat la 1000 Mbit/s, nu?
stormdrain avatar
drapel um
Această gazdă trece doar printr-un comutator prost prin care trece alte echipamente și rulează bine 1 GB, deci nu este hardware-ul dintre gazdă și orice altceva. NIC-urile în sine raportează 1000 oriunde este afișat (vezi imaginea din partea de jos a postării și modurile afișate în comanda esxcli nic get).
drapel us
Ce slot PCIe este folosit pentru tg3?
drapel us
Există erori în transmisie?
stormdrain avatar
drapel um
Este încorporat. Fără erori de transmisie.
Kamil J avatar
drapel it
Nu ați reacționat pentru comentariul @Zac67 legat de „Configurația/limita grupului de porturi”. Nu comunicați direct cu vNIC, ci prin grupul de porturi... ;-)
stormdrain avatar
drapel um
Nu există modelarea traficului și nici alte setări de configurare care să limiteze traficul setat pe niciunul dintre dispozitive sau grupuri de porturi.
Puncte:4
drapel ru

Dacă toate legăturile fizice arată aproape 1000 Mbit/s, singurele lucruri rămase sunt:

  • grupul de porturi ESXi la care se atașează adaptorul VMkernel(?) are setat o limită de trafic
  • comutatorul prin care trece traficul are un fel de limită QoS/poliție a traficului configurat

Apropo, cel reclamă modurile unui port NIC/switch nu contează. The negociat modul face.

De asemenea, NIC-urile Broadcom acceptă de obicei „Ethernet@Wirespeed”, ceea ce face ca un NIC 1000BASE-T să scadă la 100BASE-FX atunci când una dintre perechile răsucite dintr-un cablu eșuează (standardul 1000BASE-T nu se conectează deloc într-un astfel de caz) . Deci, chiar dacă totul este configurat corect, un cablu prost vă poate arunca înapoi la 100 Mbit/s.

Puncte:0
drapel um

Se pare că a fost o problemă cu cablarea. Sugestia care ar fi trebuit să mă îndrume a fost 94,9 Mbits/sec limită - evident că conexiunea rula 100 Mbps. Faptul că a fost stabilit pentru 1G și totul spunea că era 1G, ar fi trebuit să mă înștiințeze că ceva în cablaj a fost încurcat și l-a făcut să funcționeze la 100 Mbps. Am pus centrul de date să întrerupă firele astăzi și funcționează la 1G așa cum ar trebui.

Am greșit când am afirmat că în rack mai există alte echipamente care rulează la 1G. Am instalat un nou comutator în rack și odată ce m-am uitat la interfață, am observat că portul doar raporta 100 Mbps. Odată ce am văzut asta, am verificat de două ori și un dispozitiv NAS pe care îl aveam în rack ar copia într-adevăr numai fișiere mari la <= 100 Mbps.

Scuze pentru informațiile înșelătoare din întrebare. Voi lăsa asta în cazul în care un biet suflet are aceeași problemă pe undeva: dacă vedeți 11,3MB/sec sau 11,2MB/sec sau 94,9Mb/sec în mod constant, VERIFICAȚI DUPLU CĂ PORTUL DVS. NU FUNCȚIE DE fapt LA 100 Mbps chiar dacă totul spune că este! Nu l-am văzut până când nu am instalat un comutator/ruter inteligent care a raportat numărul real, mai degrabă decât ceea ce a fost unele configurații sau ce a fost negociat automat.

Postează un răspuns

Majoritatea oamenilor nu înțeleg că a pune multe întrebări deblochează învățarea și îmbunătățește legătura interpersonală. În studiile lui Alison, de exemplu, deși oamenii își puteau aminti cu exactitate câte întrebări au fost puse în conversațiile lor, ei nu au intuit legătura dintre întrebări și apreciere. În patru studii, în care participanții au fost implicați în conversații ei înșiși sau au citit transcrieri ale conversațiilor altora, oamenii au avut tendința să nu realizeze că întrebarea ar influența – sau ar fi influențat – nivelul de prietenie dintre conversatori.