cel mai bun sistem de fișiere pentru milioane de fișiere

Ce sistem de fișiere/configurare Linux ați alege pentru cea mai bună viteză în următorul scenariu:

câteva milioane de fișiere Mărimea fișierului de ~3 MB în medie acces aleatoriu la fișiere trebuie să obțineți frecvent o listă cu toate fișierele scrierea constantă a fișierelor noi citirea constantă a fișierelor vechi

Ceea ce contează cu adevărat este cum te organizezi fișierele dvs.

Dacă intenționați să aveți un singur director mare cu ~10 milioane de fișiere, orice sistem de fișiere va avea de suferit, deși XFS și ZFS vor gestiona destul de bine chiar și cel mai rău caz.

Abordarea recomandată este să vă organizați fișierele în mai multe directoare mai mici, cu un număr rezonabil de fișiere (~32K) pentru a evita probleme diferite, dar legate (de exemplu: ls a fost cândva foarte lent pentru directoarele mari).

Dacă acest lucru nu este posibil, aș merge cu XFS sau ZFS, dar numai după ce a simulat sarcina intenționată pe un set de testare (notă: chiar și EXT4 va fi bine din punct de vedere al performanței, dar puteți lovi cu greu limita inodului).

Din ceea ce descrieți, XFS este o potrivire potrivită. A fost creat pentru a gestiona miliarde de fișiere.Totuși, va trebui să vă gândiți la stocarea back-end corectă pentru ceea ce plănuiți.

Sarcina dvs. de lucru este aproape cea mai proastă posibilă pentru un sistem de fișiere de uz general.Milioane de fișiere, enumerare frecventă, multe citiri și scrieri. I/O metadate enorme. Cu un număr mare de fișiere, rareori lățimea de bandă a transferului fișierului în sine este problema, mai degrabă numărul de IOPS pentru a interoga intrările din director și inode în mod repetat.

Testați această sarcină de lucru în mod sintetic, în timp ce monitorizați aplicația pentru a vă asigura că funcționează acceptabil. La niveluri realiste de stocare la scară de producție și IOPS. Asigurați-vă că se potrivesc cu structura folderului, 300 de fișiere per director este foarte diferit de 3.000.000 de fișiere per director. Încercați câteva sisteme de fișiere diferite, pentru Linux XFS și EXT4.

Posibil, veți avea nevoie de stocare SSD foarte rapidă și de multă memorie RAM pentru a face acest lucru să funcționeze corespunzător.

Poate aveți un contract de asistență cu furnizorul dvs. de sistem de operare, unde puteți solicita un specialist în performanță să-l examineze.

Dacă obținerea unei performanțe acceptabile necesită acest lucru, luați în considerare modificările aplicației. Luați în considerare stocarea și interogarea listelor de fișiere dintr-o bază de date, alta decât sistemul de fișiere. Multe baze de date ar putea să returneze câteva milioane de rezultate mai repede decât un sistem de fișiere constrâns de POSIX în general și Linux VFS în special.