Apelurile http de ieșire eșuează aleatoriu - nicio rută către gazdă

Cu ceva timp în urmă, a apărut o problemă ciudată în clusterul nostru kubernetes. Avem o rețea care conține servere Windows (server web, server de e-mail etc.) și un cluster kubernetes care rulează Rancher v2.6.0.

Clusterul comunică cu serverul Windows prin solicitări http și smtp/imap pentru a trimite și a citi e-mailuri. De ceva vreme, solicitările http aleatoare eșuează cu mesajul de eroare nicio rută către găzduire. Se pare că se limitează doar la conexiunile în rețea și nu afectează cererile către API-uri terțe. Și eroarea nu apare întotdeauna. O mulțime de solicitări trec fără probleme, iar unele eșuează. Am implementat o politică de reîncercare pentru a încerca din nou aceeași solicitare câteva secunde mai târziu și uneori funcționează la prima reîncercare, uneori la a doua și uneori deloc.

Am încercat să caut pe google o soluție dar nu am reușit să vin cu nimic, mai ales că doar un procent din toate solicitările sunt afectate.

Administratorul nostru de sistem care întreține rețeaua și serverul Windows nu poate identifica probleme și nici măcar nu poate vedea solicitările. Deci presupun că cererile nu părăsesc clusterul... dacă asta are sens.

Din păcate, clusterul kubernetes era întreținut de un coleg care nu mai este disponibil. Aș fi foarte recunoscător pentru sugestii de unde să începeți să căutați o soluție.

Aș intra într-una dintre păstăi:

kubectl exec -it <podname> -n <namespace> -- bash

și fugi :

pentru i în {0..100}; face curl http://<windows.server>;terminat

Și verificați dacă există erori, dacă există - aș rula același test de la nodul în sine (ssh la nod și aș rula bucla for), de preferință același nod pe care rulează podul pe care l-ați folosit pentru testare.

Dacă tot vedeți erori sau timeout-uri, aș trimite ssh la un nod din afara clusterului și aș rula aceleași teste, pentru a încerca să vă concentrați dacă problema este doar de la un pod, de la nodurile de cluster sau cu serverul Windows.

Am avut erori similare și părea să fie legat de erori de interogare DNS. Coredns trimitea cereri non-kubernetes către pfsense DNS și a eșuat aleatoriu, nefiind nicio rută către găzduire. Verificați jurnalele Coredns.