Configurați un cluster Hadoop cu 4 noduri (1 master, 3 lucrători) atât pe AWS, cât și pe GCP. Oricum se confruntă, ieșire de rețea destul de mare pentru ambele platforme.
Aplicații cluster AWS: Hadoop, Yarn
Aplicații de cluster GCP: Hadoop, Yarn, Hive
AWS a rezultat la 244,027 GB (21,96 USD). Acest lucru a fost „iertat” după o explicație pentru suportul AWS. Cu toate acestea, nu au fost furnizate informații despre trafic pentru a preveni apariția viitoare. Prin urmare, din moment ce nu există credite pe AWS, a trebuit să dezactivați clusterul.
GCP: aceeași problemă, dar cel puțin cu limite de credit.
Probabil legate: au primit „încălcare potențială a serviciului” din cauza atacurilor DDOS atât de la AWS, cât și de la GCP. Recent, l-am primit de la GCP în timp ce configurai Kerberos pe cluster.
Până acum:
- Configurați nodurile să vorbească între ele folosind internal-ips (anterior era external-ips).
- Reguli de firewall numai pentru porturile relevante.
- Închideți toate filele browserului UI la aplicații (Hive, HDFS, Yarn) atunci când nu sunt utilizate.
- Solicitat asistență AWS pentru asistență cu privire la cele mai bune practici și informații despre trafic. Am primit o mulțime de link-uri despre materialele AWS, în principal despre configurarea alertelor de facturare (nu de configurare sau depanare).
- Asistență GCP foarte utilă. Facturarea GCP este simplă. Asistență tehnică solicitată prin chat - în așteptare.
Orice ajutor despre cum să urmăriți de unde provine traficul.
Actualizați:
În timp ce lucram la doar două dintre nodurile care configurează Kerberos, se pare că am consumat până la 100 USD din creditele mele rămase (la ieșire din nou) și nu pot accesa proiectul decât dacă fac upgrade la un cont complet.
