Puncte:0

Ce este în neregulă cu portul ESXi VMKernel în configurația activă/activă?

drapel ng

Am configurația simplificată de mai jos:

introduceți descrierea imaginii aici

În esență, am o gazdă ESXi cu două adaptoare de rețea fizice. Fiecare adaptor se conectează la un comutator diferit. Fiecare comutator este conectat printr-un port trunk. Un PC este conectat la unul dintre comutatoare. Un vSwitch cu un port VMKernel și porturi VM este configurat pentru a utiliza ambele NIC-uri fizice într-o configurație activă/activă:

introduceți descrierea imaginii aici

am alergat esxtop și poate vedea că gazda ESXi a ales NIC-ul fizic conectat la Switch 2 pentru portul VMKernel. De pe computer, dacă dau ping la adresa IP de gestionare a gazdei ESXi, ping-urile sunt intermitente. Ele merg în sus și în jos.

Dacă arăt tabelul de adrese Mac pe fiecare comutator, văd că Switch 2 are întotdeauna adresa MAC a VMKernel atribuită portului switch-ului conectat la gazda ESXi. Dar, Switch 1 adaugă și elimină continuu adresa MAC a VMKernel-ului pe portul fizic respectiv. Oricând Switch 1 are MAC-ul VMKernel alocat portului său fizic, ping-urile eșuează.

Motivul eșecului este evident.Motivul pentru care Switch 1 preia în mod obișnuit adresa MAC a portului ESXi VMKernel este întrebarea. Gazda ESXi a ales ca interfața conectată la Switch 2 să fie portul activ. Interfața conectată la comutatorul 1 ar trebui să fie inactivă. Dar, s-ar părea că este posibil să răspundă la solicitările ARP?

Este demn de remarcat faptul că niciuna dintre VM-urile de pe această gazdă nu are această problemă. Toate sunt accesibile și sunt prezente într-un singur tabel MAC la un moment dat. Această problemă afectează în mod specific portul VMKernel.

Ce despre această configurație este greșită? Caut un tip de documentație sau explicație pe lângă o soluție la această problemă. Știu că setarea portului VMKernel ca mod activ/standby va rezolva probabil problema. Dar, nu găsesc nimic documentat de ce această configurație actuală este o problemă.

ACTUALIZĂRI:

  • Am dezactivat CDP pe vSwitch crezând că ar putea cauza comunicarea prin NIC inactiv.
  • Am suprascris setările vSwitch pentru portul VMKernel și l-am setat să folosească failover-ul explicit și Active/Standby. Am plasat și NIC-ul de așteptare în pool-ul nefolosit. Nimic nu a ajutat. Ceea ce a rezolvat problema a fost schimbarea ordinii portului. Deci, când portul conectat la Switch 1 devine activ, nu văd problema. Adresa MAC nu devine deloc activă pe Switch 2. Acestea sunt două plăci NIC semnificativ diferite și mă întreb dacă aceasta nu este o problemă cu driverul.

Ceva trebuie să facă ca adresa MAC VMKernel să fie văzută pe portul Switch 1, dar aceasta vine și pleacă la fiecare câteva secunde.

Configurații de comutare pentru STP și porturi: Comutatorul 1

!
modul spanning-tree rapid-pvst
spanning-tree portfast edge implicit
spanning-tree extinde sistemul-id
!
interfață Port-canal1
 vlan de acces switchport 11
 încapsularea trunchiului switchport dot1q
 trunchiul modului switchport
!
interfață GigabitEthernet1/0/7
 vlan de acces switchport 11
 acces în modul switchport
!
interfață GigabitEthernet1/0/23
 vlan de acces switchport 11
 încapsularea trunchiului switchport dot1q
 trunchiul modului switchport
 modul de grup de canale 1 de dorit
!
interfață GigabitEthernet1/0/24
 vlan de acces switchport 11
 încapsularea trunchiului switchport dot1q
 trunchiul modului switchport
 modul de grup de canale 1 de dorit

Comutatorul 2

!
modul spanning-tree rapid-pvst
spanning-tree portfast edge implicit
spanning-tree extinde sistemul-id
!
interfață Port-canal1
 vlan de acces switchport 11
 încapsularea trunchiului switchport dot1q
 trunchiul modului switchport
!
interfață GigabitEthernet1/0/3
 vlan de acces switchport 11
 acces în modul switchport
!
interfață GigabitEthernet1/0/23
 vlan de acces switchport 11
 încapsularea trunchiului switchport dot1q
 trunchiul modului switchport
 modul de grup de canale 1 de dorit
!
interfață GigabitEthernet1/0/24
 vlan de acces switchport 11
 încapsularea trunchiului switchport dot1q
 trunchiul modului switchport
 modul de grup de canale 1 de dorit
Puncte:3
drapel in

Managementul vmk din ESXI presupune adresa MAC a Nic-ului din primul slot PCI în timpul configurării inițiale. Așa a funcționat pentru totdeauna. Acest lucru poate rupe lucrurile numai atunci când dispozitivul fizic începe și el să trimită pachete. În mod normal, acest lucru nu se întâmplă, N-urile fizice nu trimit trafic, ele trec trafic. De asemenea, trebuie să acordați atenție acestui comportament dacă decideți să mutați N-urile fizice de la o gazdă la alta, acest lucru duce la scăderea a 2 conexiuni de gazdă atunci când comutatorul fizic se sperie. Bănuiesc că acest Nic a început să raporteze trafic CDP/LLDP și acesta este momentul în care comutatorul dvs. vede duplicarea MAC. Cea mai ușoară soluție este să reconstruiți vmk prin linia de comandă. Acest lucru va trebui făcut dintr-un acces direct la consolă (DCUI) (KVM, ILO, IDRAC etc...).

Iată comenzile; (Ajustați IP-ul/mască de subrețea/numele grupului de porturi etc... pentru a se potrivi nevoilor dvs.)

esxcli network ip interface remove --interface-name=vmk0

esxcli network vswitch standard portgroup add -p Management_Network -v vSwitch0

esxcli network ip interface add --interface-name=vmk0 --portgroup-name=Management_Network

esxcli network vswitch standard portgroup set -p Management_Network --vlan-id 50

esxcli network ip interface ipv4 set --interface-name=vmk0 --ipv4=192.168.50.116 --netmask=255.255.255.0 --gateway=192.168.50.1 --type=static

esxcli network ip interface tag add -i vmk0 -t Management

Acest lucru va reconstrui vmk de management cu o adresă MAC VMware pentru a elimina această problemă. Cu toate acestea, aș recomanda să contactați furnizorul/producătorul de hardware pentru procesul de închidere a CDP/LLDP care vine de pe placa fizică. Acest lucru va rezolva această problemă a gazdei ESXi, dar veți ajunge să se întâmple și altora dacă permiteți cardurilor să continue să îndeplinească această funcție. Dacă aceasta ar fi o problemă atât de mare pe cât ați crezut inițial, VMware nu ar fi o companie gigantică, acest lucru nu este foarte comun...

Appleoddity avatar
drapel ng
Ai lovit cuiul pe cap. Problema este un agent LLDP la nivel hardware care trimite pachete LLDP cu aceeași adresă MAC. Acum trebuie să decid cea mai bună modalitate de a rezolva problema. Soluția ta este perfect rezonabilă, doar că nu am acces fizic ușor la server. Îmi pot actualiza licența iDrac sau pot folosi mâinile și ochii de la distanță. Dar, dacă fac asta, pot intra și în BIOS și pot opri agentul LLDP (aparent). Ce enervant. Multumesc din nou.
Puncte:2
drapel ru

Am rulat o configurație extrem de similară de mulți ani fără probleme.

Cum ai configurat porturile switch-ului? Nu ar trebui să faci nimic special (Nu (M)LAG/LACP) deoarece ESXi se ocupă de tot. Este bine să stivuiți comutatoarele, pur și simplu nu agregați porturile, nu configurați oglindirea stării legăturii sau similar.

Switch2 ar trebui să aibă MAC-ul portului VMkernel pe portul orientat spre ESXi și switch1 pe portul orientat spre switch2, permanent.

Apăsarea MAC înainte și înapoi poate fi cauzată de o altă problemă, cum ar fi modificări frecvente ale topologiei STP (care nu sunt de obicei vizibile de ESXi, dar ar putea totuși). Verificați jurnalele comutatoarelor pentru eventuale anomalii.

Motivul pentru care Switch 1 preia în mod obișnuit adresa MAC a portului ESXi VMKernel este întrebarea.

Fără nici un LAG, care s-ar putea întâmpla doar dacă gazda a trimis efectiv cadre cu MAC-ul portului VMK la switch1. În mod normal, nu va face asta decât dacă legătura către switch2 nu a eșuat.

Interfața conectată la comutatorul 1 ar trebui să fie inactivă.

Pentru portul VMK, da. Este posibil să existe trafic VM atașat la același grup de porturi.

Dar, s-ar părea că este posibil să răspundă la solicitările ARP?

ARP sau nu, cadrele cu portul VMK MAC nu provin din celălalt port fără motiv.

Appleoddity avatar
drapel ng
Multumesc pentru raspuns. Switch-urile sunt porturi de acces standard. Nimic special. Văd milioane de BDPU-uri trimise de la Switch 1 la Switch 2. Nu sunt sigur dacă asta are legătură. Mi se pare că Switch 1 vede trafic de la interfața ESXi conectată la acesta și adaugă temporar MAC-ul la tabelul său.Dar, acel adaptor ar trebui să fie „inactiv”. Am crezut că am ajuns la ceva dezactivând CDP pe adaptorul fizic, dar nu a făcut nicio diferență. Nici schimbarea VMKernel în modul Active/Standby. Cu alte cuvinte, a avea ceva pe vSwitch în modul Activ/Activ provoacă această problemă.
Zac67 avatar
drapel ru
*milioane de BDPU-uri trimise de la Switch 1 la Switch 2* nu par a fi normal - BPDU-urile sunt în mod normal trimise numai pe porturile desemnate (=spre porturile root), la fiecare 2s. De asemenea, adaptoarele nu sunt active atunci când rulați activ-activ. VNIC-urile sunt atașate prin numărul portului virtual (aproximativ aleatoriu) și rămân acolo. Dacă doriți activ-pasiv, trebuie să mutați un port în jos la *Adaptoare Standby*. Nu, CDP/LLDP nu face diferența, l-aș lăsa activ. Problema care se confruntă cu Active/Standby *foarte mult* indică o problemă cu configurațiile comutatorului.
Zac67 avatar
drapel ru
Ați putea adăuga configurațiile sanitzed (cel puțin părțile relevante pentru porturi și STP) la întrebarea dvs.? Jurnalele de comutare arată ceva?
Appleoddity avatar
drapel ng
Bună. Vă mulțumesc pentru ajutor în acest sens. Actualizările tale sunt exacte și suntem de acord. Pachetele de pe cardul inactiv nu ar trebui să fie văzute pe Switch 1, dar este. Mi-am actualizat postarea inițială. Dacă schimb ordinea porturilor - adică activez NIC pe comutatorul 1, problema dispare și comutatorul 2 nu vede traficul de la NIC-ul inactiv. Dacă le schimb înapoi, problema reapare. Acestea sunt două NIC-uri semnificativ diferite. Mă întreb dacă aceasta este o problemă cu șoferul. Apreciez concentrarea asupra comutatoarelor, dar toate lucrurile indică cadrele care provin de la NIC-ul inactiv din anumite motive???
Appleoddity avatar
drapel ng
Configurații comutatoare adăugate. Aceasta este o configurație a comutatorului destul de simplă. Nimic special. STP este activat doar pentru că există o conexiune la un alt teanc de comutatoare prin 2 cabluri ethernet, iar aceste două comutatoare din discuție nu sunt stivuite. Din nou, folosind `show mac address-table interface gi1/0/7` arată adresa MAC VMKernel care apare și iese. În cazul în care la fel ca pe celălalt comutator, MAC este stabil, așa cum era de așteptat.
Zac67 avatar
drapel ru
Aveți o punte rădăcină bine definită? Celelalte comutatoare rulează și RPVST+ sau RSTP/MSTP? Portul 23 și 23 ca port-canal sunt legătura de stivuire? Și 7 și 4 sunt link-urile gazdei?
Puncte:1
drapel tr

Configurația portului comutatorului pe care ați postat-o ​​arată că utilizați un canal de port pe comutatoarele catalizatorului.

Doar nu face asta! Cu gazdele ESXi independente, acest lucru nu este acceptat. ESXi se ocupă de echilibrarea încărcăturii și failover-ul pe cont propriu numai în cadrul software-ului. Dacă doriți neapărat să utilizați canale de porturi bazate pe comutatoare externe, atunci acest lucru necesită să utilizați vCenter și un comutator distribuit.

Vedea https://kb.vmware.com/s/article/82609 și https://kb.vmware.com/s/article/1001938 pentru mai multe detalii.

Appleoddity avatar
drapel ng
Multumesc pentru raspuns. Canalul portului nu este configurat pe niciun port conectat ESXi. Acestea sunt trunchiuri între switch-urile Cisco.

Postează un răspuns

Majoritatea oamenilor nu înțeleg că a pune multe întrebări deblochează învățarea și îmbunătățește legătura interpersonală. În studiile lui Alison, de exemplu, deși oamenii își puteau aminti cu exactitate câte întrebări au fost puse în conversațiile lor, ei nu au intuit legătura dintre întrebări și apreciere. În patru studii, în care participanții au fost implicați în conversații ei înșiși sau au citit transcrieri ale conversațiilor altora, oamenii au avut tendința să nu realizeze că întrebarea ar influența – sau ar fi influențat – nivelul de prietenie dintre conversatori.