De câteva luni totul a funcționat bine și această problemă nu a existat. După o buclă de blocare într-unul dintre containere care a început să producă o mulțime de jurnale, serverul s-a plin. Acea problemă a fost rezolvată, dar acum, când îmi rulez docker stack, inclusiv elasticsearch, după câteva ore, discul începe să se umple 100%, trece de la 20 GB de utilizare la 75 GB (100%) în câteva minute.
Nu pot fi jurnalele vechi pentru că acestea au fost eliminate din sistem și elasticsearch este configurat să efectueze ILM pe indici, deci nu păstrează mai mult de câțiva GB de date (rulează și șterge după câteva zile). De asemenea important de remarcat:
In timp ce df -h arată că discul este complet plin. Volumul elasticsearch care este montat pe: /usr/share/elasticsearch/data în container are doar câțiva GB (aproximativ 5 GB) de volum. Folosind du -h -d1
În același timp, cel du -h -d1 pe / arată doar aproximativ 20 GB de utilizare a discului! Deci nu este clar unde se află volumul suplimentar de ~50 GB!
Când elimin serviciul elasticsearch din stivă, utilizarea discului revine la 20 GB instantaneu.
Am incercat:
- Scoateți nodul din roi, niciun container nu rulează și tăiați totul, inclusiv volumele. Utilizarea discului scade. Când mă alătur și rulez stiva cu elasticsearch, problema revine.
- Fă ca sugerat aici și montați / la /mnt.
du comanda nu a arătat nicio diferență. Încă 20 GB cât timp df a arătat discul 100% plin.
Resurse server:
- 75 GB spațiu pe disc
- 4 nuclee CPU
- 16 GB RAM
Serverul este un centos7 și este un manager într-un roi (Docker roi), iar instanța elasticsearch este „fixată” la acest server cu constrângeri de implementare. Pe acest server rulează și alte containere.
Roiul are 4 noduri: 3 manageri care funcționează și ca lucrători și 1 alt nod lucrător.
