avem hadoop cluster (platforma Ambari cu versiunea HDP - 2.6.4)
și am efectuat pasul de verificare pentru a înțelege dacă avem sub blocuri replici
prima verificare a fost cu:
su hdfs
hdfs fsck / - -->
dă rezultatele:
Dimensiunea totală: 17653549013347 B (Dimensiunea totală a fișierelor deschise: 854433698229 B)
Total direcții: 843714
Total fișiere: 11752836
Total de link-uri simbolice: 0 (Fișiere în curs de redactare: 16)
Total blocuri (validate): 11792203 (dimensiunea medie a blocului 1497052 B) (Total blocuri de fișiere deschise (nevalidate): 6381)
Blocuri replicate minim: 11792203 (100,00001 %)
Blocuri supra-replicate: 0 (0,0 %)
Blocuri subreplicate: 0 (0,0 %)
Blocuri replicate greșit: 0 (0,0 %)
Factor de replicare implicit: 3
Replicare medie a blocurilor: 3.0
Blocuri corupte: 0
Replicile lipsă: 0 (0,0 %)
Număr de noduri de date: 6
Numar de rafturi: 1
asa cum vedem mai sus Blocuri subreplicate este 0
DAR
când efectuăm următoarea verificare:
hdfs dfsadmin -raport
atunci primim
Capacitate configurată: 141275429535744 (128,49 TB)
Capacitate actuală: 140886991802565 (128,14 TB)
DFS rămas: 84748655941292 (77,08 TB)
DFS utilizat: 56138335861273 (51,06 TB)
DFS utilizat%: 39,85%
Sub blocuri replicate: 4212067
Blocuri cu replici corupte: 0
Blocuri lipsă: 0
Blocuri lipsă (cu factor de replicare 1): 0
deci de sus putem vedea că Under replicated blocks este --> 4212067
pe cale să știu care este dreptul de sub numărul de replica:
de ce avem diferențe între hdfs fsck / și hdfs dfsadmin -raport ?
BTW - de la Ambari obtinem ~ aceleasi rezultate ca de la hdfs dfsadmin -raport
