avem Hadoop cluster și am observat că hdfs fsck oferă următoarele rezultate
..............Stare: SANATOS
Dimensiune totala: 58934628832 B
Total direcții: 127002
Total fișiere: 354214
Total de linkuri simbolice: 0 (Fișiere în curs de redactare: 8)
Total blocuri (validate): 349827 (dimensiunea medie a blocului 168467 B) (Total blocuri de fișiere deschise (nevalidate): 1)
Blocuri replicate minim: 349827 (100,0 %)
Blocuri supra-replicate: 0 (0,0 %)
Blocuri subreplicate: 101699 (29,071226 %)
Blocuri replicate greșit: 0 (0,0 %)
Factor de replicare implicit: 3
Replicare medie a blocurilor: 2,6958897
Blocuri corupte: 0
Replici lipsă: 106386 (10,137011 %)
Număr de noduri de date: 5
Numar de rafturi: 1
putem vedea Replici lipsă: 106386
așa că am efectuat următorii pași dar fără succes
hadoop fsck / -move
și
hadoop fsck / -delete
și
hadoop fsck / -files -blocks -locations
și, de asemenea, încercăm să reparăm sub replica
su - <$hdfs_user>
bash-4.1$ hdfs fsck / | grep „Sub replicat” | awk -F':' '{print $1}' >> /tmp/under_replicated_files
-bash-4.1$ pentru hdfsfile în `cat /tmp/under_replicated_files`; do echo "Remedierea $hdfsfile :" ; hadoop fs -setrep 3 $hdfsfile; Terminat
astfel încât toți pașii de mai sus nu sunt rezolvați problema cu replica lipsă
vreo altă idee cum să continui din această etapă?
