Am creat clusterul GKE și primim erori de la gke-metrics-agent. Erorile apar la fiecare aproximativ 30 de minute. Sunt întotdeauna aceleași 62 de erori.
Toate erorile au etichetă k8s-pod/k8s-app: „gke-metrics-agent”.
Prima eroare este:
eroare exporterhelper/queued_retry.go:245 Exportarea a eșuat. Încercați să activați opțiunea de configurare retry_on_failure. {"kind": "exportator", "name": "googlecloud", "error": "rpc error: code = DeadlineExceeded desc = Termenul limită a expirat înainte ca operațiunea să poată fi finalizată."
Această eroare este urmată de aceste erori în ordine
- „go.opentelemetry.io/collector/exporter/exporterhelper.(*retrySender).send”
- „/go/src/gke-logmon/gke-metrics-agent/vendor/go.opentelemetry.io/collector/exporter/exporterhelper/queued_retry.go:245”
- go.opentelemetry.io/collector/exporter/exporterhelper.(*metricsSenderWithObservability).send
- /go/src/gke-logmon/gke-metrics-agent/vendor/go.opentelemetry.io/collector/exporter/exporterhelper/metrics.go:120
Există aproximativ 40 de erori ca aceasta. Două erori care ies în evidență sunt:
- eroare exporterhelper/queued_retry.go:175 Exportarea a eșuat. Aruncarea datelor.Încercați să activați sending_queue pentru a supraviețui eșecurilor temporare. {"kind": "exportator", "name": "googlecloud", "dropped_items": 19}"
- warn batchprocessor/batch_processor.go:184 Sender failed {"kind": "processor", "name": "batch", "error": "rpc error: code = DeadlineExceeded desc = Termenul limită a expirat înainte ca operațiunea să se poată finaliza."} "
Am incercat sa caut acele erori pe google dar nu am gasit nimic. Nici măcar nu găsesc nicio documentație pentru gke-metrics-agent.
Lucruri pe care le-am incercat:
- verifica cotele
- actualizați GKE la o versiune mai nouă (versiunea actuală este 1.21.3-gke.2001)
- actualizare nodurile
- dezactivați toate regulile de firewall
- dați toate permisiunile nodurilor k8s
Pot oferi mai multe informații despre clusterul nostru kubernetes, dar nu știu ce informații pot fi importante pentru a rezolva această problemă.
