înregistrare Logare
Puncte:0
ndtreviv avatar Server

Flink taskmanager pe ECS nu se poate conecta la jobmanager pe EC2

drapel in
ndtreviv

Am o instanță EC2 care se află în us-east-1b și rulează flink jobmanager, care este responsabil pentru coordonarea muncii între mai mulți taskmanagers prin RPC și serverul de istoric.Pot vedea din netstat că jobmanagerul ascultă :::6123 pentru conexiunile primite cu managerul de sarcini.

Am un grup de scalare automată care va rula o instanță EC2 în aceeași az, subrețea și grup de securitate ca și instanța EC2.

Grupul de securitate permite All Traffic pe toate porturile din orice sursă din grup către orice destinație din grup: Reguli de intrare Reguli de ieșire

Folosesc acel ASG ca furnizor de capacitate pentru sarcini ECS. Apoi încerc să execut o sarcină în ECS care rulează taskmanagerul și folosește acel ASG.

Managerul de activități pornește, dar nu se va conecta la managerul de activități:

2021-09-28 13:52:08,651 INFO org.apache.flink.runtime.taskexecutor.TaskExecutor [] - Nu s-a putut rezolva adresa ResourceManager akka.tcp://[email protected]. internal:6123/user/rpc/resourcemanager_*, reîncercare în 10000 ms: nu s-a putut conecta la punctul final rpc la adresa akka.tcp://[email protected]:6123/user/ rpc/resourcemanager_*.

Am ssh-d pe instanța rulată de ASG și am confirmat că pot curla jobmanager-ul pe ip-xxx-xx-x-xxx.ec2.internal:8081 - funcționează. Deci știu că instanța taskmanager poate vedea instanța jobmanager.

A sumariza:

  • Managerul de activități și managerul de joburi sunt în același VPC, același AZ, aceeași subrețea și același grup de securitate
  • Grupul de securitate permite tot traficul de intrare din surse din același grup de securitate
  • Grupurile de securitate permit tot traficul de ieșire către orice destinație
  • Jobmanager rulează pe o instanță EC2 creată manual
  • Managerul de activități rulează pe o instanță EC2 creată ca parte a unui ASG de către ECS. Managerul de activități rulează într-un container pe ECS
  • Pot curla jobmanagerul din nodul taskmanager
  • Managerul de activități și managerul de joburi comunică prin RPC
  • Managerul de activități nu va rezolva adresa managerului de locuri de muncă

De ce nu se va conecta sarcina mea? Am încercat și IP-ul public (v4) și IP-ul privat (v4).

306
0 + 0
Tim avatar
drapel gp
Tim
Vă rugăm să vă editați întrebarea pentru a adăuga o captură de ecran a regulilor de intrare / ieșire SG și, de asemenea, descrieți ce sunt managerul de activități / managerul de locuri de muncă și unde rulează. Încercați să adăugați grupul dvs. de securitate la propria sa regulă de intrare, care permite instanțelor din același grup să comunice între ele. Lucrul cheie de înțeles este că un SG este un firewall în jurul fiecărei interfețe de rețea, nu este ca o subrețea tradițională în care totul poate comunica în mod implicit.
0
Răspunde
ndtreviv avatar
drapel in
ndtreviv
@Tim Am oferit detaliile pe care le-ați cerut.
0
Răspunde
Tim avatar
drapel gp
Tim
Adăugați o regulă de securitate de ieșire la același SG. Permiterea 0.0.0.0/0 este diferită de permiterea accesului la un anumit grup de securitate. Nu sunt 100% sigur că aceasta este soluția, dar nu ați furnizat suficiente informații pentru ca eu să fiu sigur. De asemenea, atunci când faceți capturi de ecran SG, ar trebui să includeți partea de sus care arată ID-ul SG. Primul tău SG de intrare acoperă tot traficul, celelalte sunt redundante.
0
Răspunde
ndtreviv avatar
drapel in
ndtreviv
Am adăugat o regulă de ieșire la același SG care permite tot traficul. Nu există nicio schimbare. Pot ping instanța ECS din instanța EC2 și invers. Apreciez ajutorul tău și ți-am oferit tot ce ai cerut până acum. Dacă mai aveți nevoie de mai multe informații, aș fi bucuros să le pun acolo.
0
Răspunde
Puncte:1
ndtreviv avatar Server
drapel in
ndtreviv

Astăzi am descoperit de ce nu merge.

Jobmanager a fost configurat cu:

jobmanager.rpc.address: localhost

și astfel, în timp ce ascultam pe portul rpc din dreapta, nu acceptam trafic către nicio altă adresă.

Când l-am schimbat pentru a se potrivi cu managerul de activități:

jobmanager.rpc.adresa: ip-xxx-xx-x-xxx.ec2.intern

apoi managerul de activități s-a conectat imediat.

0 + 0
drapel romania
SEF 777
întrebarea această in alte limbi:

Postează un răspuns

Majoritatea oamenilor nu înțeleg că a pune multe întrebări deblochează învățarea și îmbunătățește legătura interpersonală. În studiile lui Alison, de exemplu, deși oamenii își puteau aminti cu exactitate câte întrebări au fost puse în conversațiile lor, ei nu au intuit legătura dintre întrebări și apreciere. În patru studii, în care participanții au fost implicați în conversații ei înșiși sau au citit transcrieri ale conversațiilor altora, oamenii au avut tendința să nu realizeze că întrebarea ar influența – sau ar fi influențat – nivelul de prietenie dintre conversatori.