Puncte:1

HDFS + cum să dezactivezi verificarea „du -sk” pe discurile nodurilor de date

drapel gb

Folosim cluster HDP cu 182 nod de date masini:

Versiunea HDP - 2.6.4 Ambari versiunea 2.6.1

Remarcăm următorul comportament pe noduri de date mașini (se întâmplă la toate nod-date mașini și pe toate discurile).

Când executăm comanda ca exemplul de mai sus:

ps -eo s,user,cmd | grep ^[RD]
D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R root ps -eo s,user,cmd

Notă - fiecare disc din nodul de date este 5,4 T octeți.

Putem vedea asta HDFS rulează „du -sk” pe nodul de date discuri

Nu ne place acest lucru, deoarece sensul este consumarea de încărcare mare CPU Avrg și uneori chiar performanță proastă.

Noi înțelegem asta HDFS trebuie să rulezi "du -sk" pentru a verifica spațiul pe disc, dar pe de altă parte, costul său - încărcare medie a procesorului mare și uneori chiar performanță slabă.

Este posibil să spun HDFS într-un fel pentru a dezactiva această verificare?

Postează un răspuns

Majoritatea oamenilor nu înțeleg că a pune multe întrebări deblochează învățarea și îmbunătățește legătura interpersonală. În studiile lui Alison, de exemplu, deși oamenii își puteau aminti cu exactitate câte întrebări au fost puse în conversațiile lor, ei nu au intuit legătura dintre întrebări și apreciere. În patru studii, în care participanții au fost implicați în conversații ei înșiși sau au citit transcrieri ale conversațiilor altora, oamenii au avut tendința să nu realizeze că întrebarea ar influența – sau ar fi influențat – nivelul de prietenie dintre conversatori.