Scrieri paralele NVMe

Încerc să înțeleg mai bine cum poate fi optimizată scrierea în NVMe.

Am un proces care scrie o cantitate mare de date pe disc (~100 gb) într-un singur lot. Datele sunt răspândite în 100 de fișiere.

Am mai multe discuri NVMe disponibile și voi scrie fișiere separate în paralel într-un singur proces folosind mai multe fire (~10).

În prezent, toate datele sunt scrise pe un singur disc NVMe, mă întreb dacă s-ar putea obține o potențială îmbunătățire a performanței prin scrierea datelor pe mai multe discuri în paralel sau dacă un singur dispozitiv NVMe poate gestiona singur scrierile paralele?

Apreciez orice contribuție

Ei bine, cu siguranță NVMe spec permite ceva de genul cozilor de 64.000, fiecare poate conține intrări de 64.000 - deci specificațiile în sine permit unele operațiuni de concurență de ultimă generație - indiferent dacă unitatea reală suportă sau nu atât de multe, este un lucru diferit, dar cu siguranță vor suporta sute de cozi și sute de intrări la coadă. Toate acestea vor ajuta.

Acestea fiind spuse, instinctul este că mai multe unități vor fi mai bune, dar depinde într-adevăr de cât de inundat este PCIe/PCH - dacă există o mulțime de scrieri mici, atunci există șansa ca magistrala să nu fie complet ocupată, așa că unirea pe mai multe discuri poate ajuta. puțin, dar dacă este utilizat pe deplin, așa cum probabil ați vedea în scrierile secvențiale mari, atunci un singur disc ar putea fi la fel de rapid ca mai multe discuri.

Desigur, toate acestea sunt înainte de a lua în considerare lucruri precum RAID 1/10 sau 0 și impactul pe care l-ar avea - în mod ideal, doriți așa ceva pentru rezistență.

În cele din urmă, ar trebui să testați acest lucru, acesta este răspunsul corect, dar depinde de câte unități și de cât timp aveți pentru a face testarea - dar acesta este singurul mod de a ști cu adevărat.